蜘蛛协议又称网络蜘蛛。搜索引擎一直专注于提升用户的体验度，其用户体验度则反映在三个方面： 准、全、快 。用专业术语讲是：查准率、查全率和搜索速度（即搜索耗时）。
---在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先(如下图所示)。---广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中 的一个链接网页，继续抓取在此网页中链接的所有网页。
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先（如下图所示）。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。
超链接等内在关系，使搜索引擎因为内页关键词链接次数较多而被优先抓取。重视单页面的链接 每个企业都会在不同时期有不同的优惠或是有新的业务产品出现，在网站上配合宣传，做一些单页面链接优化。
(2) 蜘蛛抓取页面后，从HTML中解析出新的链接URL，与地址库中的数据进行对比，如果是地址库中没有的网址，就存入待访问地址库。(3) 搜索引擎自带的一种表格提供站长，方便站长提交网址。
网页抓取 Spider每遇到一个新文档，都要搜索其页面的链接网页。搜索引擎蜘蛛访问web页面的过程类似普通用户使用浏览器访问其页面，即B/S模式。
搜索引擎抓取东西只在读取网页的HTML，于是必须正确引导搜寻器优化的权力范畴和网站内容。把在标题关键字，描述和地区中添加更多的关键字流量字。不要忘记将H1至H6中应用关键字。 ALT标签必须放在尽可能的图像上。
抓取 搜索引擎为想要抓取互联网站的页面，不可能手动去完成，那么百度，google的工程师就编写了一个程序，他们给这个自动抓取的程序起了一个名字，蜘蛛（也可以叫做“机器人”或者“网络爬虫”）。
只需通过合适的过滤和操作，Wireshark也可抓取HTTP请求和响应。下面便说明具体操作。
①搜索引擎安排蜘蛛到互联网上的网站去抓取网页数据，然后将抓取的数据带回搜索引擎的原始页面数据库中。蜘蛛抓取页面数据的过程是无限循环的，只有这样我们搜索出来的结果才是不断更新的。
网站流畅性：当用户在访问一个页面时，如果在打开速度方面就让客户等着急的话，对于70%的用户来说，是肯定会关闭网页离开的。对于搜索引擎来说， 那也是相当的失败，对于搜索引擎来说，当然会选择运行速度比较快的网站。
超链接等内在关系，使搜索引擎因为内页关键词链接次数较多而被优先抓取。重视单页面的链接 每个企业都会在不同时期有不同的优惠或是有新的业务产品出现，在网站上配合宣传，做一些单页面链接优化。
1、跪爬。是以两手和两膝着地，手膝交替依次爬行的方法。姿势：头抬起，五指分开着地，两臂与肩同宽，两膝着地，与肩同宽。手足爬。是以两手和两脚着地，手足交替依次爬行的方法。
2、在网络爬虫的爬行策略中应用最为基础的是：深度优先遍历策略和广度优先遍历策略。深度优先遍历策略 深度优先遍历策略很好理解，这跟我们有向图中的深度优先遍历是一样的，因为网络本身就是一种图模型嘛。
3、一般而言，蜘蛛爬行有这几种策略：宽度优化遍历策略 宽度优化遍历是一种简单的蜘蛛策略实施的方法，在搜索引擎爬虫出现的时候这种方法就可以使用了。
4、深度优先遍历策略 深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。
