搜索引擎的蜘蛛抓取页面的一般过程是这样的。
首先,收集待索引网页的url。
搜索引擎的蜘蛛一般分为两类,这一类的主要工作就是收集网页的中有效的url。它们的任务是一刻不停地扫描internet资源,以随时更新其搜索引擎庞大的url列表以供它的第二类蜘蛛使用。也就是说,当这一类蜘蛛访问我们网页的时候,并不在于索引我们的网页,而是在寻找网页中的所有有效链接。
关于有的站长在自己的访问日志中发现多个蜘蛛ip爬自己站的情况。
我们常用的搜索引擎每天要处理数以亿计的信息,没有一个大型的搜索引擎公司(google或百度之类)不配备上万台服务器来共同执行这个工作,因此搜索引擎都拥有不同的数据中心,也就是说有多个robots来检索你的站是很正常的事情。
不过这也仅限于一类蜘蛛,在索引页面的时候,搜索引擎会限制某个特定的数据中心来让专门索引页面的蜘蛛检索你的站。
因此朋友们从服务器访问日志中时常可以看到源自不同ip的蜘蛛,在很短的时间内频繁访问网站。不过千万不要高兴得太早,也许其根本不是在索引你的网页而只是在扫描url。
日本网站设计建设有什么特点!网站建设用哪个域名后缀好?网站文本怎样设计才能吸引用户?建设网站展示效果如何做到一致性?改善用户体验从网页设计开始如何判断两个IP地址是否在同一个网段?什么是子网掩码?海外服务器和国内服务器应该用哪个好?企业网站制作过程中经常被忽视的误区