robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。
robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。
1、机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http：//yourwebsite/robots.txt即可。如果想检查分析机器人，有专业的相关工具。
2、robots.txt文件应该放在网站根目录下。举例来说，当搜索引擎 访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果robots机器人程序找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3、打开您的网页浏览器，如Chrome，Firefox等，输入b站的网址“”。在浏览器地址栏的末尾输入“/robots.txt”，即“”，然后按下回车键。
4、任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文 件，则对于所有的搜索引擎robot，该网站都是开放的。
5、在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。
1、机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http：//yourwebsite/robots.txt即可。如果想检查分析机器人，有专业的相关工具。
2、打开您的网页浏览器，如Chrome，Firefox等，输入b站的网址“”。在浏览器地址栏的末尾输入“/robots.txt”，即“”，然后按下回车键。
3、robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。例如，http：//是有效位置。
4、登陆网站后台FTP，robots文件就在站点的根目录下面，直接使用查找输入r就可以找到，如果没有找到的话，可能设置的隐藏，强制现实文件即可，还有一种原因就是网站没有robots文件，不是所有的建站系统都自带robots文件的。
