蜘蛛在遇见死链就像进了死胡同，又得折返重新来过，大大降低蜘蛛在网站的抓取效率，所以一定要定期排查网站的死链，向搜索引擎提交，同时要做好网站的404页面，告诉搜索引擎错误页面。
利用友情链接 友情链接是外链的一种，但效果值得让他拥有姓名。
第三：提高网站权重 网站和页面的权重越高，蜘蛛通常爬行的深度越深，蜘蛛包含的页面越多。但是，一个权重为1的新网站相对容易，但它将变得越来越难增加的重量在线。第四：掌握文章的字数，不要太多也不要太少。
页面深度：页面在首页是否有入口，在首页有入口能更好的被抓取和收录。
给蜘蛛提供快速通道 可以这么认为，一个打开速度慢的网站并不会受蜘蛛青睐，几乎到了“门口”发现门很难打开，就会转身选择其它的“门”。
主动提交网站链接 当更新网站页面或者一些页面没被搜索引擎收录的时候，就可以把链接整理后，提交到搜索引擎中，这样可以加快网站页面被搜索引擎蜘蛛抓取的速度。
外链给予足够的支持 高质量的外链也能引导蜘蛛爬行你的网站，这个很容易理解，在一些外站平台上留下的链接就是蜘蛛爬行你网站的入口。如果拥有很多高质量的外链，那么蜘蛛自然会频繁爬行到你的网站。
高质量的内容 高质量的内容对于网站优化有着重要作用，高质量内容不仅仅是针对搜索引擎，同时也是针对用户。
正是因为外链有这样的吸引蜘蛛的作用，所以我们在发布新网站时，一般会去一些收集效果较好的平台发布一些外链，让蜘蛛更快地把我们的网站包括进来。
发外链吸引蜘蛛的方法 良多站长发布外链都是带个网站的首页网址就算了，百度优化以为这种优化方式比较单一，假如你的网站权重低，更新丌频繁的话，可能蜘蛛通过链接到了你的网站就丌再深入去爬行了。
爬行与抓取（crawling & indexing）爬行：搜索引擎使用自动程序，通常称为“爬虫”或“蜘蛛”（如google的googlebot），它们通过跟踪网页上的超链接在网络中不断发现新的网页和更新内容。
处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。
如果你想获得搜索引擎蜘蛛的亲赖，希望它天天爬行抓取网页的话，那就需要持续保持原创文章的更新，并且定期交换友情链接。如果你不希望某个搜索引擎的蜘蛛来抓取你的网页，可以通过设置robots.txt来禁止抓取。
搜索引擎的工作分为四个步骤： 爬行和抓取 搜索引擎派出一个能够在网上发现新网页并抓文件的程序，这个程序通常称之为蜘蛛。搜索引擎从已知的数据库出发，就像正常用户的浏览器一样访问这些网页并抓取文件。
