1、大数据存储问题：爬虫抓取的数据在经过预处理后数据量依然相当庞大，这给大数据存储技术带来相当大的挑战。
2、搜索引擎面临的挑战主要有：单独纯粹的搜索引擎需要改进，文字关键词搜索已经满足不了人们的需求，尤其是在移动互联网时代，pc端互联网与移动互联网相互存在，而且移动互联网总归是会成为主流的。
3、提高网络信息检索技术水平并实现智能检索，智能化是网络信息检索未来主要的发展方向。
4、看不懂搜素引擎了。每个搜索都有自己的一定规则，各不相同，是否能做到面面俱到呢？特别是百度的变化，有时候真的很诡异，做百度受打击一定要扛得住，当你做久了就知道，百度不打击你那就不是百度了。
5、概括起来主要表现在三个方面： 其一是资讯丢失。
1、一般情况下，对于具体的某个关键词，其搜索结果不会突然发生巨大的变动。我们很少看到某关键词的搜索结果前10位突然都换成其他的了，除非搜索引擎进行算法修改。
2、对于企业网站，外部链接是将别人的企业网站加入到自己的超链接中。外部链接是搜索引擎优化的重要组成部分，外部链接的质量会对各大搜索引擎中主页的权重造成非常大的影响。
3、第三，抓取诊断的应用。作为网站的SEOer我们经常会为网站更新内容不被收录而苦恼，而百度站长工具中的抓取诊断就可以为我们解决这个网站。当我们对网站进行日常更新后可以使用 这个工具，只要注册、验证就可以，使用很简单。
搜索引擎抓取失败的原因有很多，最主要的原因就是网站的稳定性，所以网站需要在任何时间和地点都要保证网站的稳定性。
搜索引擎自身的原因 搜索引擎的算法时常都会有细微的改变，这样或多或少的会影响到网站排名，这种情况有的时候过几天就恢复了，有时一直不会恢复。
网站结构是否合理 通常情况下来说，网站布局也是网站优化工作的一部分，但是网站的整体布局是否合理，也能够对网站的收录起到关键性的作用。
网站速度的影响 机房问题、dns问题、cdn加速问题、服务器带宽、服务器硬件、操作系统、服务器软件以及服务器所安装的程序，这些都有可能影响我们网站的打开的速度。
频繁修改网站标题。新网站切勿频繁修改网站标题描述，如果要修改等网站收录3个月以上再修改。虚拟主机空间不稳定。建议更换主机。网站内链结构不友好，如首页大flash动画，大幅图片不利于蜘蛛爬行。
沙盒 沙盒现象是所有seo现象中最常见的一个现象，主要是针对一些新网站而言的。搜索引擎会对新网站进行一段时间的考核，在这个考核的时间段中不会放出网站的收录、排名等主要的信息。
因为老域名有一定的信用度，但是老域名历史要是有不良记录就会影响收录。
规则一：不要作弊 忽略任何关于欺骗搜索引擎的建议，并且专注于制作优秀的网站，你的网站将会在搜索中显示出良好的表现。规则二：坚持你的关键词 挑选一些描述你的网站的关键词或长尾关键词。
第一，得分规则，是根据网站的总体信誉度，比如原创度、网站的停留时间、网站的跳出率、打开速度、图片的处理、代码的优化等综合判断，称为得分规则。
对于关键词，需要进行关键词研究，了解用户的搜索意图和需求，并在网站中合理地使用关键词，例如在标题、描述、正文等位置，但不要过度堆砌关键词，以免被搜索引擎认为是作弊行为。
遵循搜索引擎规则：搜索引擎有一定的算法规则，网站需要遵循搜索引擎的优化规范，避免使用不当手法（如黑帽SEO），以免被搜索引擎降权或惩罚。
搜索引擎搜索规则：网站不能在网上复制别的网站的内容。必须要符合用户的搜索体验和习惯。网站需要有符合您网站性质的备案信息。网站只能传播正能量，不能传播违背法律的内容。
META标签规则有2个META标签对SEO有实际作用，即description和keywords。两者皆为SE可容忍的隐藏关键字集，虽然各大SE一再更改算法，但这2个META标签仍对搜索结果有影响。
