1、要防止爬虫爬你的网站，就必须区分出爬虫和正常用户的行为区别。单单就单次请求你是无法区分出来的，因为前端的所有用户行为，爬虫都可以模拟。
2、---- 这是第二种防采集方法。在文章正文页面插入重复特征头尾代码的注释。当然，这个可以用正则去掉，但足于对付通用的采集系统。
3、方法八：限制IP地址单位时间的访问次数 分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。弊端：一刀切，这同样会阻止搜索引擎对网站的收录。
这是第二种防采集方法。在文章正文页面插入重复特征头尾代码的注释。当然，这个可以用正则去掉，但足于对付通用的采集系统。
限制IP地址单位时间的访问次数 分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。
解 决这个问题的办法是，将 PHP 的内置 mysql_real_escape_string() 函数用作任何用户输入的包装器。这个函数对字符串中的字符进行转义，使字符串不可能传递撇号等特殊字符并让 MySQL 根据特殊字符进行操作。
在内容外围加上DIV层，并加上为文档的ID，比如：文章内容 那么每篇文章的ID就不一样，别人采集时一般是要利用内容开头跟结尾的代码来获取的，现在每篇文章都不一样，一次只能采一篇，所以没人去采你的了。
---- 这是第二种防采集方法。在文章正文页面插入重复特征头尾代码的注释。当然，这个可以用正则去掉，但足于对付通用的采集系统。
防止恶意采集 招数一 ：经常查看服务器日志，屏蔽掉异常IP，阻止恶意采集者进入网站。采集文章网站的IP。很多网站所在服务器和采集服务器是同一个。流量过大的IP。此类IP一般都是采集爬虫，直接屏蔽掉。
.还是得经常检查自己的网站，被挂黑链是小事，被挂木马或删程序就很惨了，运气不好的话，排名也会跟着掉。
关键信息通过ajax请求来获取，最好是需要带有临时token作为参数的请求。网站在发布的时候需要做javascript代码压缩和混淆，这样程序人员就很难通过阅读代码或者捕获请求来建立模拟采集。
网站内容采用多套模板，随机模板，给采集程序设置过高的门槛；但这招对整站采集器不起作用。
1、①关键词的堆砌会造成搜索引擎不爬取，影响网站收录 ② 网站的url路径层级是否过多，图片的alt属性的设置是否合理也会影响收录。
2、比如开启了防火墙规则、屏蔽了网站端口、开启防采集规则、开启防攻击规则等，导致了搜索引擎同一时间由于大量访问网站，而导致被安全软件拦截。
3、新网站未收录。如果是由于新网站的原因未收录是很好处理的，主要继续坚持原创并做一些外链来吸引蜘蛛，就会很快被收录了；网站被K或者降权了。如果网站被K了或者降权了，收录肯定是会受到影响的。
4、后果便是权重严重降低，搜索引擎甚至会将网站拉黑从搜索引擎中删除。因此网站的稳定性非常影响网站的排名。网站页面的收录量 优质网站往往带来的是高权重、高流量、高排名。
5、网站结构主要是从整体上规划一个适合搜索引擎收录的内容结构，比如：不用过于深的目录做栏目等，搜索引擎认为：二级域名的权重二级目录根目录文档。文档和目录的命名时，用拼音更好。
