robots是英语中的一个词汇，意思是“机器人（们）”。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
原因：百度无法抓取网站，因为其robots.txt文件屏蔽了百度。方法：修改robots文件并取消对该页面的阻止。机器人的标准写法详见百度百科：网页链接。更新百度站长平台(更名为百度资源平台)上的网站机器人。
机器人用英语怎么写 robot英 [rbt] 美 [robɑt]机器人的英语例句 Most mobile robots are still in the design stage.大多数移动机器人仍处在设计阶段。
用于定义搜索引擎抓取和禁止的协议。robots基本语法符号：/ 、* 、/ 在允许和禁止的文件和文件夹前写；通配符，能够匹配所有的英文字符包括数字0；表示结束符，用于屏蔽图片时候用。
robots.txt的写法(语法)robots.txt就是一个记事本文件(txt格式文件)，存放在网站根目录下。那么robots.txt语法到底有哪些呢？robots.txt语法有三个语法和两个通配符。三个语法：首先要定义网站被访问的搜索引擎是那些。
百度官方是推荐所有的网站都使用robots文件，以便更好地利用蜘蛛的抓取。其实robots不仅仅是告诉搜索引擎哪些不能抓取，更是网站优化的重要工具之一。robots文件实际上就是一个txt文件。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
1、robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。
2、我们的网站起初的robots.txt写法如下：User-agent：Disallow： /wp-admin/ Disallow： /wp-includes/ User-agent： * 的意思是，允许所以引擎抓取。
3、《一》User-agenet：用来定义搜索引擎。写法如：User-agent：*（或者搜索引擎的蜘蛛的名字）。《二》Disallow： 是禁止语法，用来定义禁止蜘蛛爬取的页面或者目录。
