新建一个文本文件重命名为robots.txt，然后通过ftp上传上去就行了，可以百度下robots的书写规则，然后自己定制一下就行，也可以用站长工具进行生成。很简单的。
登陆网站后台FTP，robots文件就在站点的根目录下面，直接使用查找输入r就可以找到，如果没有找到的话，可能设置的隐藏，强制现实文件即可，还有一种原因就是网站没有robots文件，不是所有的建站系统都自带robots文件的。
打开您的网页浏览器，如Chrome，Firefox等，输入b站的网址“”。在浏览器地址栏的末尾输入“/robots.txt”，即“”，然后按下回车键。
robots是英语中的一个词汇，意思是“机器人（们）”。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
原因：百度无法抓取网站，因为其robots.txt文件屏蔽了百度。方法：修改robots文件并取消对该页面的阻止。机器人的标准写法详见百度百科：网页链接。更新百度站长平台(更名为百度资源平台)上的网站机器人。
1、网站改版正确使用robots文件的方法是：在改版期间，将robots文件设置为“disallow： /”以阻止搜索引擎访问网站，然后在改版完成后，根据新网站的结构和内容，更新robots文件以允许搜索引擎重新访问网站。
2、需要注意的是，robotx.txt文件应该仅用于控制搜索引擎的访问，不应该包含敏感信息，例如用户密码和个人信息等。同时，网站管理员应该定期更新robotx.txt文件，以确保搜索引擎可以正确地识别新的内容。
3、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。一般情况下，站内的搜索结果页面屏蔽掉更好。
4、打开您的网页浏览器，如Chrome，Firefox等，输入b站的网址“”。在浏览器地址栏的末尾输入“/robots.txt”，即“”，然后按下回车键。
5、一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
6、屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容。（例如用户账户信息等）Robots.txt放在哪？robots.txt 文件应该放置在网站根目录下（/robots.txt）。
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
robots.txt撰写方法：（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robots.txt。User-agent：*Disallow：或者User-agent：*Allow：/ （2），禁止所有搜索引擎访问网站的所有部分。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
Disallow：/admin (禁止蜘蛛爬取admin目录)Disallow：/login.html (禁止蜘蛛爬去login.html页面)Disallow：/help.html (禁止蜘蛛爬去help.html页面)《三》Allow：是允许语法，用来定义允许蜘蛛爬取的页面或者子目录。
