robots協(xié)議也稱爬蟲協(xié)議、爬蟲規(guī)則等，是指網(wǎng)站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。但是，這個robots協(xié)議不是防火墻，也沒有強制執(zhí)行力，搜索引擎完全可以忽視robots.txt文件去抓取網(wǎng)頁的快照。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）。