文章內(nèi)容

認識幾個搜索引擎爬蟲

發(fā)布時間: 2012/9/23 15:45:07

Googlebot 谷歌搜索引擎爬蟲，當它第一次出現(xiàn)在你網(wǎng)站日志時，谷歌和網(wǎng)站的漫長交往正式開始。Googlebot 是 Google 的網(wǎng)頁抓取機器人（有時稱為“信息采集軟件”）。抓取是 Googlebot 發(fā)現(xiàn)新網(wǎng)頁和更新的網(wǎng)頁以將這些網(wǎng)頁添加到 Google 索引中的過程。

Baiduspider 百度蜘蛛，大多數(shù)中文網(wǎng)站辛辛苦苦，就是為了有朝一日能和這個蜘蛛搞對眼，對眼了小站也就有油水了。Baiduspider 是百度搜索引擎的一個自動程序，它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁。

Sogou+web+spider：sogou spider是搜狗搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，存儲到本地數(shù)據(jù)庫中，并從中發(fā)現(xiàn)新的鏈接，走訪互聯(lián)網(wǎng)，使用戶能在搜狗搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。

ia_archiver：這個是Alexa的蜘蛛爬蟲，和Googlebot、Baiduspider一樣，為收集用戶數(shù)據(jù)而存在。

Sosospider+、HuaweiSymantecSpider、MJ12bot、+bingbot、ichiro等等不一而足。我們要對它們來訪表現(xiàn)出熱情與好客，有朋自遠方來，要不亦樂乎？

本文出自：億恩科技【prubsntakaful.com】

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]