一句話總結(jié)蜘蛛的習(xí)慣 |
發(fā)布時(shí)間: 2012/9/23 15:44:04 |
google蜘蛛:不太愛(ài)爬,但愛(ài)收錄。
百度蜘蛛:爬謹(jǐn)慎,收錄更謹(jǐn)慎。 搜搜蜘蛛:愛(ài)爬圖片,經(jīng)常繞在動(dòng)態(tài)地址里出不來(lái)。 雅虎蜘蛛:恪守規(guī)則,每次都是先爬robots.txt。 其他的沒(méi)有太多留意,就不多說(shuō)了。 本文出自:億恩科技【prubsntakaful.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |