Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。
robots是一个协议，是建立在网站根目录下的一个以（robots.txt）结尾的文本文件，对搜索引擎蜘蛛的一种限制指令。
Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。
网站改版正确使用robots文件的方法是：在改版期间，将robots文件设置为“disallow： /”以阻止搜索引擎访问网站，然后在改版完成后，根据新网站的结构和内容，更新robots文件以允许搜索引擎重新访问网站。
最简单的robots.txt只有两个规则：User-agent：指定对哪些爬虫生效 Disallow：指定要屏蔽的网址 接下来以亚马逊的robots协议为例，分析其内容。首先，先来分析亚马逊对于网络爬虫的限制。
1、robots 含义：机器人。robot的复数。用法：直接源自捷克语的robotnik，意为奴隶。These robots will save us a lot of labor.这些机器人可以节省我们大量劳工。will 含义：aux. 将；愿意；必须。
2、robots意思：机器人。robots读音：英音[rbts]美音[robts]。robots基本解释：n.机器人（robot的名词复数）；遥控装置；自动机；机械呆板的人。
3、自动机； 机械呆板的人；[例句]They have docked a robot module alongside the orbiting space station 他们已经将一个自动操作舱与沿轨道运行的空间站并行对接上了。[其他] 复数：robots robodog 机器狗的意思哦。
robots协议是一种存放于网站根目录下的ASCII编码的文本文件。用于对外宣誓主权，规定按照允许范畴访问网站，有效保护网站的隐私。
方法一： 通过输入网址“https：//”，进入百度搜索引擎页面。
屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容。（例如用户账户信息等）Robots.txt放在哪？robots.txt 文件应该放置在网站根目录下（/robots.txt）。
使用Python编写网络爬虫程序的一般步骤如下： 导入所需的库：使用import语句导入所需的库，如BeautifulSoup、Scrapy和Requests等。 发送HTTP请求：使用Requests库发送HTTP请求，获取网页的HTML源代码。
