蜘蛛陷阱
作者:輕風(fēng)徐來(lái)
瀏覽:818次
發(fā)布時(shí)間:2017-09-17




蜘蛛陷阱
“蜘蛛陷阱”是阻止蜘蛛程序爬行網(wǎng)站的障礙物,通常是那些顯示網(wǎng)頁(yè)的技術(shù)方法,目前很多瀏覽器在設(shè)計(jì)的時(shí)候考慮過(guò)這些因素,所以可能網(wǎng)頁(yè)界面看起來(lái)非常正常,但這些蜘蛛陷阱會(huì)對(duì)蜘蛛程序造成障礙,如果消除這些蜘蛛陷阱,可以使蜘蛛程序收錄更多的網(wǎng)頁(yè)。SEO工作中,網(wǎng)頁(yè)被收錄是基礎(chǔ)工作,但對(duì)于搜索引擎來(lái)講,極少情況會(huì)100%收錄你網(wǎng)站的所有網(wǎng)頁(yè),搜索引擎的爬蟲(chóng)程序設(shè)計(jì)的再精巧,也難以逾越所謂的蜘蛛陷阱。