网站除了301重定向用来集中网站权重外，还有robots文件也是用来集中网站权重，通过站内robots文件优化，可以限制蜘蛛抓取，将一些对网站没什么用的文件进行屏蔽，让蜘蛛更方便的抓取网站内容，有利于我们提升网站排名。

1、什么叫robots文件

Robots文件是网站跟搜索引擎爬虫程序(百度蜘蛛、谷歌机器人)一个沟通协议，通过这个协议可以告诉爬虫程序，网站哪些内容是允许抓取的，哪些内容不允许抓取的。

robots文件全名叫robots.txt,这个文件名要小写，这个文件必须放在网站的根目录，文件名不能自己随便命名。

注意：并不是所有的网站都有这个文件，但是我们在优化网站的时候需要给网站做一个robots文件。织梦有自带的robots文件，对于优化的需求是不能满足，所以就需要自己重新来优化这个文件。

2、robots文件的书写格式

User-agent: *

User-agent: 蜘蛛名称

* 是一个通配符，代表的是所有蜘蛛的名称。

Disallow：后面跟的禁止抓取的网址路径

User-agent: *

Disallow: /plus/ad_js.php

如果想限制某个搜索引擎爬虫程序抓取，那么就需要把*换成具体的爬虫程序名称就可以。

蜘蛛名称：

•谷歌：googlebot

•百度：baiduspider

•MSN：MSNbot

•雅虎：Slurp

•有道：YoudaoBot

•搜搜：Sosospider

•搜狗：sogou spider

•360：360Spider (haosouSpider)

例如禁止百度蜘蛛抓取ad_js.php：

User-agent: baiduspider

Disallow: /plus/ad_js.php

禁止谷歌蜘蛛抓取ad_js.php：

User-agent: googlebot

Disallow: /plus/ad_js.php

Allow:允许抓取的文件目录路径

User-agent: baiduspider

Disallow: /plus/ad_js.php

Allow: /member/2.php

(Allow代表允许)

你在robots文件里面即使不写允许记录，只要没禁止，那么也是可以被抓取的。

3、关于robots文件一些特殊的写法

Disallow: /a/*.htm

禁止抓取a目录里面所有以.htm结尾的文件。

Disallow: /a/2.html

禁止抓取a目录里面所有以2.html文件。

Disallow: /a/3.htm

禁止抓取a目录里面所有以3.htm文件。

Disallow: /*?* 禁止抓取网站里面所有带有?的网址链接。

不建议直接写在robots里面。

Disallow: /.jpg$ 禁止抓取网站所有以.jpg文件。

注意，分析一个哪些文件需要屏蔽不让抓取，对于排名本身没有作用的文件，比如Css文件、js文件，网站安全隐私的文件也可以屏蔽。

织梦站点，哪些文件是可以屏蔽的：

1、后台文件 dede

2、安装文件 install (可以删除)

3、会员文件 member

4、程序核心文件 include

5、数据库文件 data

6、模板文件 templets

7、织梦插件文件 plus

8、上传下载的文件 uploads

9、图片文件 images (如果不希望被收录屏蔽，如果希望收录图片那就不要屏蔽)

10、404页面文件

11、Css文件和js文件

a文件可以屏蔽也可以删掉，m这个文件是移动站的模板放在这个里面的，目前不建议屏蔽。special，这个是专题页面文件保存的目录，以后我们重点利用专题页面来做排名的，不能屏蔽，剩下的基本都是你的网站的目录名称文件，这些文件不要屏蔽。

建议我们在这个robots文件里面添加一条允许记录，把站点地图的链接允许写入到robots文件里面。那是可以起到一个强调的作用，让蜘蛛优先抓取站点地图文件。就是因为站点地图上面包含了我们网站更新的内容以及栏目的链接。

Sitemap: /sitemap.html

Allow: /sitemap.html

Sitemap: /sitemap.xml

Allow: /sitemap.xml

Sitemap: /sitemap.txt

Allow: /sitemap.txt

注意：书写robots文件一定要结合具体的网站文件具体来书写，不能完全复制。

如果企业网站不清楚的目录文件都是干嘛的，大家问下建站人员，给写一份目录文件说明，Robots文件写好以后一般蜘蛛需要一到两周才会根据这个文件指定的链接来抓取。

如果你要检测别人网站有没有做这个robots文件，直接在浏览器输入别人的域名后面加上robots.txt文件名即可查询。

站内的导出链接，导出链接会分散页面权重的，这种导出链接就不能使用robots文件屏蔽，我们应该使用nofollow来屏蔽，给链接加上nofollow，蜘蛛就不会跟踪这条链接。就不会把这个链接判断为导出链接。

<a href=http://www.baidu.com rel=nofollow>百度</a>

Meta robos标签来屏蔽蜘蛛抓取页面，这种方法不常用，了解就可以，写法如下：

写在网页头部部分(head里面)

(1)<meta name="robots" content="index,follow" />

所有的蜘蛛可以抓取本页面，而且可以抓取本页面的其他链接也是可以被抓取的。

(2)<meta name="robots" content="index,nofollow" />

只能抓取当前本页面，这个页面的其他链接是不允许跟踪的。

(3)<meta name="robots" content="noindex,follow" />

禁止抓取当前页面，但是当前页面的其他链接是可以被抓取的。

总结：如果你想屏蔽某个页面的链接建议推荐使用robots.txt 以及采用链接的nofollow属性

<a href=http:// www.******.com/caijing/ rel=nofollow>财经</a>

如果你网站某些不是特别重要的栏目，不用做排名的栏目，只是用来展示的栏目，那么可以使用nofollow(例如：关于我们、联系我们)