常常我们会遇到搜索引擎蜘蛛爬行网站时会出现爬行不顺畅的情况,遇到这种情况通常都是网站陷阱导致的,下面就随小编来详细了解一下蜘蛛爬行不顺畅的原因吧。
一、网址包含参数过多(尽量选择伪静态)
尽管百度优化指南官方表明,目前百度搜索机器人也能像谷歌机器人一样收录动态参数网站,但是静态化url的网站永远要比动态化url收录更有优势。因此,如果你的网站像下面的网址一样,那就可能会导致蜘蛛爬行不顺畅了:
在选择做站程序前,一定要考虑该程序是否支持网站url静态化,并且在日后维护中也要注意网站url是否真正做到静态化,尽量舍弃包含参数的动态网址的做法。
二、网站地图设置不正确
网站地图是一个非常有用的网站工具,对于用户和蜘蛛来说,一副完整、正确的网站地图都能很好地识别整个网站的架构,从而更好地浏览和爬行网站。由于一些站长对于代码的不熟悉,以及对网站的架构不熟悉,就随便选了一个权威性不好的工具来制作了一副不完整或不正确的网站地图,最后的结果就是让蜘蛛爬行时陷入其中,最终迷路了。
选择一个权威性好的工具来制作网站地图,比如站长工具、百度站长平台工具等,如果自己对网站比较熟悉,最好能够自己手工制作,并亲身多次测试,保证好网站地图的正确性和完整性。
三、死链数量大
所谓的死链接就是就是返回代码为404的错误页面链接,这类链接通常产生于网站改版后、或者网站更换域名后。死链接的存在对于用户体验和蜘蛛爬行来说都是非常不好的。死链接无疑就是阻挡着蜘蛛的爬行,当蜘蛛接二连三地碰到这些不该出现的死链接时,就会产生对网站的不信任,最终会放弃爬行网站。
(1)提交死链接。利用百度站长平台的死链提交工具来提交网站死链,具体说明请参考百度站长工具。
(2)对死链接进行重定向或者删除,如果死链接的位置不是很重要,可以把其重定向到首页,如果位置比较重要,数量也比较多,就可以选择删除死链接,可以使用工具来删除。
四、网站过多锚文本
网站锚文本过多,造成内链链轮。外部链轮相信大家都会认识,但是其实内部链接也是可以产生链轮的。很多站长为了提升关键词排名,不惜使用过多的锚文本,然后造成页面之间的链接轮回效应,最后也让蜘蛛走进了无底洞,无法走出来了。
我们在做网站优化时需要不断探索搜索引擎蜘蛛的爬行规律,为蜘蛛的爬行营造顺畅的环境,这样才能提升网站的收录速度、排名提升速度,获得更好的网站权重和排名。