尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

robots協(xié)議

作者：麋鹿 瀏覽：931次 發(fā)布時間：2017-10-31
編輯 分享 評論 贊0

Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓?。ň唧w可查看馬海祥博客《robots協(xié)議文件的寫法及語法屬性解釋》的相關介紹）。

是搜索引擎的一部分來定位和索引互聯(lián)網(wǎng)上的每個可能回答搜索請求的網(wǎng)頁，通常只在討論 robots的HTML標簽或者robots.txt文件的時候使用。


詞條統(tǒng)計

  • 瀏覽次數(shù)：931次
  • 編輯次數(shù)：0次歷史版本
  • 最近更新：2017-10-31
  • 創(chuàng)建者：麋鹿

    • 相關詞條

    相關問答

    相關百科

    相關資訊