超碰人人人,人人超碰中文,99热资源,人人操碰在线观看,亚洲天堂网av在线,美女毛片久久网,方便的火包友动漫,欲望97超碰,精品一性一乱一视频,国产乱人乱偷精品

歡迎您訪問思政資源庫!
中唐方德官網(wǎng) | 思政直播
什么是robots協(xié)議

什么是robots協(xié)議

91
0
展開
下載
收藏
版權(quán)說明

發(fā)布日期:2023-01-26

true

來源:百度百科

簡介:
robots協(xié)議也稱爬蟲協(xié)議、爬蟲規(guī)則等,是指網(wǎng)站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。但是,這個robots協(xié)議不是防火墻,也沒有強制執(zhí)行力,搜索引擎完全可以忽視robots.txt文件去抓取網(wǎng)頁的快照。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設(shè)置合并到根目錄下的robots.txt,或者使用robots元數(shù)據(jù)(Metadata,又稱元數(shù)據(jù))。

適用專業(yè)(1)

    本科(1):

  • 數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)
  • 展開

適用課程(1)

  • 程序設(shè)計基礎(chǔ)(Python語言)
  • 展開
版權(quán)說明及權(quán)利通知
加入資源庫VIP 本文免費下載
2萬VIP文檔下載
海量文檔免費下載
付費資源7折起
專屬客服服務(wù)
僅需0.6元/天
開通VIP
繼續(xù)閱讀
VIP用戶可繼續(xù)閱讀

相關(guān)思政元素

收藏
版權(quán)說明
下載
VIP專享文檔
付費資源7折起
專屬客服服務(wù)
僅需0.6元/天
立即開通