1、User杠agent：Disallow：或者User杠agent：Allow允许所有搜索引擎访问网站的所有部分。Disallow说明允许robot访问该网站的所有url，在robots.txt文件中，至少要有一条Disallow记录访问。
2、User-agent： *Allow是robots文件中的一句语法，代表的意思是：允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。User-agent： *Disallow：是允许所有搜索引擎收录的意思。
3、Disallow： 说明允许 robot 访问该网站的所有 url，在 /robots.txt 文件中，至少要有一条 Disallow 记录。如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
1、因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。
2、robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎访问网站的所有部分。
3、我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
1、另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。
2、robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
3、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。
4、如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
5、包括目录下的文件，比如tmp/23html 具体使用方法百度和谷歌都有解释，百度http：// Robots.txt文件可以帮助我们让搜索引擎删除已收录的页面，大概需要30-50天。
1、robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
2、ROBOTS文件严格意义上来讲，是用来禁止搜索引擎抓取的。如果没有这个必要的话，我们也就没有用ROBOTS文件的意义了。
3、robots是英语中的一个词汇，意思是“机器人（们）”。
4、robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
5、搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。
6、robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。
在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。
在网络爬虫领域，robots.txt是一个非常重要的文件，它指定了网站上哪些页面可以被爬取，哪些页面不能被爬取。b站也有一个robots.txt文件，用于指定其网站上的爬取规则。
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎访问网站的所有部分。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
