CDN及虚拟主机用户须慎重辨明假百度蜘蛛

假蜘蛛对我们网站的危害是巨大的，具体有：
1.占用网站带宽，导致网站流量上升，增加额外开销
2.在有限带宽的前提下，阻碍了正常蜘蛛的抓取
3.误导了我们在对网站开展seo工作时的思路
4.部分伪装成假蜘蛛的采集工具剽窃了我们的工作
我们看到，网上有很多人在分享如何“捉住”假蜘蛛的文章，但这些文章只是千篇一律的描述了“捉住”假蜘蛛的过程及操作方法。却没有分享从如何真正的判别蜘蛛的真伪。
最近在对一个网站进行seo优化时，就碰到了这样一个案例，险些导致将真蜘蛛错当假蜘蛛来处理。
一、发现“假蜘蛛”
seo优化要依靠大量的分析和数据来实现，其中日志分析是重中之重，在日志中我们可以看到很多平时统计工具无法看到的数据和事实。
本周对网站日志进行分析查看时，发现了几个不属于认识中的“蜘蛛ip”，截图给大家看一下：
我们知道，百度蜘蛛一般来自于202.181.108.* 和123.125.71.* 这两个ip段（顺便科普一下，这两个ip段的百度蜘蛛没有所谓高权重和降权之分）。显然这三个ip在“常识”中，不属于百度蜘蛛所属的ip段。
为了确保不误杀百度蜘蛛，我用nslookup ip命令反解了此ip，得到以下信息：
这个时候，基本已经可以确定该ip不属于百度蜘蛛的ip段，是一个“假蜘蛛”，我们需要屏蔽该ip释放那些被占用的带宽。
二，误会“假蜘蛛”
就在要对以上提到的三个ip进行屏蔽的时候，突然想到，这个网站在上周通知我他们要使用安全宝服务，需要将dns解析到安全宝的服务器上，而安全宝则会根据用户的访问情况，选择距离最近的一个节点进行cdn加速。
在我之前的例行seo检查中，发现网站ip被解析到了陕西的一个ip上，而这个网站ip和这次我从网站日志中发现的三个“假蜘蛛”ip属于同一ip段。
为了验证这个推测，我又重新仔细查看了网站日志，发现谷歌蜘蛛和搜狗蜘蛛也来自于之前三个ip（之前对网站日志进行了拆分，只查看百度的情况，因为网站是针对百度做seo的）。
这下子总算清楚了，这些所属ip的蜘蛛不是假蜘蛛，而是货真价实的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不过因为他们通过了一次cdn节点，所以造成了他们的来源ip是一致的。
三，虚拟主机如何产生“假蜘蛛”
由此想到，之前在阅读相关文章的时候，经常会看到有站长抱怨发现假蜘蛛，来自xx机房（就那么一两家机房）。
这是一件很奇怪的事情，莫非采集工具和假蜘蛛都产自这个机房？事实自然不是那样的，而是：
1.很大一部分发现假蜘蛛的站长，所使用的是某主机供应商提供的集群主机，或类似性质的虚拟主机。
2.集群性质的虚拟主机，同cdn的道理是相同的，即将客户的空间和站点资料同步到同一个群组的所有服务器上。
3.蜘蛛的来源不同，一些是直接访问站点的，另一些是通过一些外链访问站点的。而这些通过外链访问站点的蜘蛛，会就近通过cdn节点访问。
4.cdn节点每家公司都不一样，但大致分为地域大区（不是省）和电信、网通这样的方式划分。
5.那些通过cdn节点访问网站的蜘蛛，来源ip自然不是从总部出发时的ip。
最终事情得到了很好的解决，该网站自优化以来效果一直良好，虽然采用了cdn，但事实证明cdn对搜索引擎而言没有任何障碍，反而有利于网站速度和提高用户体验。
这个seo案例也同时告诉我们，网上的seo教程是会过时的，随着互联网的进步，我们seo也要学会理智的去对待一些教程和分享，要有质疑和勇于实践的精神，同时对互联网的一些基本的技术知识要有所了解。


网站优化需要注意的六个细节
SEO需要掌握八个方面技巧
如何提高关键词优化的五种技巧
SEO优化师是怎么分析竞争对手的数据的？
如何定制网站的排名优化方案？
哪些因素决定了中小企业网站建设的费用?
新站为什么要先做收录？seo公司做新站优化有讲究
做seo优化只追求关键词排名无法使得网站得到长期有效的发展