做SEO时，最好是把Robots.txt文件写好，下面说下写法：搜索引擎Robots协议：是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
robots协议文件的创建 网站SEO优化与搜索引擎友好地对话，robots.txt文件无疑是最好的选择。
：SEO优化重点以文章内容页优化为主。一个网站28的流量，20%主页，80%内页，所以优化内页就是在优化你的流量。3：适当给每个页面增加keyword(关键词)，Description(页面描述)，robots(搜索引擎抓取器)等标签。
1、Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
2、robots是一个协议，是建立在网站根目录下的一个以（robots.txt）结尾的文本文件，对搜索引擎蜘蛛的一种限制指令。
3、在网络协议中，robots.txt是Web站点管理者用来告诉搜索引擎机器人哪些页面不应该被爬虫抓取的标准协议。
4、robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
5、Robots协议的本质是网站和搜索引擎爬虫的沟通方式，是用来指引搜索引擎更好地抓取网站里的内容。比如说，一个搜索蜘蛛访问一个网站时，它第一个首先检查的文件就是该网站的根目录里有没有robots.txt文件。
6、搜索引擎Robots协议：是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow： /cgi-bin/ /tmp/”。
网站必须要有一个robot.txt文件。文件名是小写字母。当需要完全屏蔽文件时，需要配合meta的robots属性。robots.txt的基本语法 内容项的基本格式：键： 值对。
robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。
robots文件主要的作用就是阻止蜘蛛抓取你不想让他抓取的文件。最好还是要一个，比如网站后台等一些文件 想要不被他他抓取，robots文件就能起到作用了。
robots 是站点与 spider 沟通的重要渠道，站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。
