影响搜索引擎抓取的因素有哪些

1 域名历史因素。

域名的历史有没有被百度惩罚过，

比如域名被K,是否因为挂马导致降权，或者是否进去沙盒期。

域名有没有涉及敏感词汇。比如大品牌的专用词汇，如“taobao"、“baidu”等。

有没有被友情链接连累的被惩罚现象。

2 服务器因素。

服务器的稳定性。如果服务器打开慢或者不稳定经常掉线，会影响蜘蛛后期的抓取频率也会影响用户体验度。

如果同服务器ip下有黄赌毒的网站，也会影响到自己站的抓取和收录排名。

3 网站结构。

页面结构不要太深，最好是把文章放在一级文件目录下。

不要出现死循环，不要有死链接。

4 内容因素。

大量采集，内容没有原创或者伪原创。内容在网络上的重复的过高，没有新鲜的东西蜘蛛不会去抓取。

5 网页需求度。

网民搜索需求大的内容也许蜘蛛会抓取更积极一些，如果内容比较晦涩难懂，也没多少人去看去搜，抓取频率也许不会高。

6 robots设置问题

1先查robots文件的设置，是否有需要抓取的而被禁止抓取了。

2 不要设定太多的限制，比如css、js这类的文件也不要禁止抓取，因为他们也是网页展示的必须元素。

7 https导致

还有一种情况是https的设置问题，如果做了https，那么必须在百度站长资源平台提交百度https认证并通过验证，否则抓取会出问题。

还有的idc服务商强制某些页面比如首页用https但是内页没用，那也不行。