robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots是英语中的一个词汇，意思是“机器人（们）”。
robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
先来说sitemap，sitemap是网站地图的意思，在你的网站上找找肯定能找到网站地图。地图里放的就是这个文件里包含的链接。这个不是自动生成的。再来说说robots.txt文件，是一个禁止收录的文件。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt 是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
看英文意思啊！这些都是规则，有禁止，有允许，dis就是不允许。
User杠agent：Disallow：或者User杠agent：Allow允许所有搜索引擎访问网站的所有部分。Disallow说明允许robot访问该网站的所有url，在robots.txt文件中，至少要有一条Disallow记录访问。
Disallow： 说明允许 robot 访问该网站的所有 url，在 /robots.txt 文件中，至少要有一条 Disallow 记录。如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
User-agent： *Allow是robots文件中的一句语法，代表的意思是：允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。User-agent： *Disallow：是允许所有搜索引擎收录的意思。
禁止所有搜索引擎访问网站的任何部分。用户代理：不允许：/ 允许所有机器人访问 用户代理：不允许：(或者可以构建空文件/robots.txt文件)禁止搜索引擎的访问。
1、robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
2、在 robots.txt 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 robots.txt 的限制，对该文件来说，至少要有一条 User-agent 记录。
3、下面我们简称RES。Robots.txt文件的格式：Robots.txt文件的格式比较特殊，它由记录组成。这些记录通过空行分开。其中每条记录均由两个域组成：1) 一个User-Agent(用户代理)字符串行；2) 若干Disallow字符串行。
4、txt的文件，用FTP上传到你网站的根目录就可以了！（切记，必须是名为robot.txt的文件）。
