很多网站在推广的过程中会遇到如下问题,360蜘蛛只爬行主页和sitemap.xml 而不爬行内页? 那么遇到如上问题,应该如何解决呢,上海水沐教育科技小编带大家学习下,如何解决此类问题。
一、查看网站robots.txt,查看方式是通过域名链接后添加robots.txt,查看方式为https://www.shuimuinfo.com/robots.txt。在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。另外要注意Disallow用法, /表示禁止访问,Allow: /表示允许访问。(518已更改正确)
二、查看网站是否新站
如果是新站,有可能是进入沙盒期,只需要继续更新内容即可。(上海水沐教育科技非新站,排除掉此原因)
三、首页多做些内页链接
在网站首页适当做些内页链接,通过对内链做一些外链,可以让蜘蛛爬取这些页面。
四、做好内容更新
每天坚持更新,坚持原创。
五、用百度站长工具提交你的链接
隔一段时间,使用百度站长工具提交你的链接。
六、网站首页到内页的链接太少,导航结构混乱,导航不清楚。
七、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。
八、站点验证由之前HTTP更改为HTTPS,其中除了搜狗对于HTTP、HTTPS有区分度,360和神马未见区分度。目的是站点验证和网站地图、robots.txt 中链接保持一致,都使用HTTPS协议。因为查阅相关文档,发现搜狗搜索引擎有网站地图和验证站点一致要求,所以其它搜索引擎也做了修改,保持一致性。(518已更改正确)
九、查阅之前相关文档,发现除了百度已使用HTTPS认证外,其它搜索引擎可能无法识别HTTPS内容,所以将站点HTTP放开,看下后续收录情况再做调整,待观察。(518已更改正确)