robots文件（Robots協(xié)議）
作者：9527
瀏覽：1388次
發(fā)布時(shí)間：2017-04-20
編輯
分享
評(píng)論
贊0
Robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱(chēng)是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。
猜你喜歡