通過理解搜索引擎蜘蛛以最大化網(wǎng)站收錄率




我們先來理解一個SE蜘蛛的爬行策略,常見的有二種:深度優(yōu)先和廣度優(yōu)先
1、 深度優(yōu)先
深度優(yōu)先指當(dāng)蜘蛛發(fā)現(xiàn)一個鏈接時,它就會順著這個鏈接指出的路一直向前爬行,直到前面再也沒其他鏈接,這時就會返回第一個頁面,然后會繼續(xù)鏈接再一直往前爬行。
2、 廣度優(yōu)先
從seo角度講鏈接廣度優(yōu)先的意思是講的蜘蛛在一個頁面發(fā)現(xiàn)多個鏈接的時候,不是跟著一個鏈接一直向前,而是把頁面上所有第一層鏈接都爬一遍,然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
從理論上說,無論是深度優(yōu)先還是廣度優(yōu)先,只要給蜘蛛足夠的時間,都能爬完整個互聯(lián)網(wǎng)。在實際工作中,沒有什么東西是無限的,蜘蛛的帶寬資源和蜘蛛的時間也是一樣都是有限的,也不可能爬完所有頁面。實際上最大的搜索引擎也只是爬行和收錄了互聯(lián)網(wǎng)的一小部分。
我個人理解百度對新網(wǎng)站分配的蜘蛛第一階段都是一樣,如何利用好這一階段的蜘蛛就是我們要解決的關(guān)鍵點(diǎn),方法如下:
1、減少頁與頁之間的鏈接深度
減少的主要目標(biāo)有:
首頁到頻道頁的深度
頻道頁到首頁到內(nèi)容頁的深度
普通頁到上級頁到首頁的深度
內(nèi)容相關(guān)度的深度
專題頁的深度
解決辦法:
為網(wǎng)站的頁面增加更多入口
比較重要的頁面或者專題,可以在首頁或者頻道頁添加鏈接,加大其權(quán)重
利用好站內(nèi)錨廣本
網(wǎng)站地圖減少頁面鏈接深度
2、減少網(wǎng)站目錄的深度
網(wǎng)站目錄深度實際上就是URL的目錄層次,做到網(wǎng)站形成扁平式,建議不要超過3級。
建議: 網(wǎng)站分為 首頁-頻道頁-內(nèi)容頁
這三層,相關(guān)文章可以通過專題頁來匯總起來,以降低目錄深度。