久久久久国产一级毛片高清板-久久久久国产一级毛片高清片-久久久久激情免费观看-久久久久精彩视频-97成人在线视频-97大香伊在人人线色

如果一個網站有很多內容，吸引到各大搜索引擎蜘蛛不停晝夜地爬行勢必會給服務器資源造成極大的浪費，特別如果又是流量比較大的站的話更易被無效蜘蛛占用，下面通過robots協議（也稱為爬蟲協議、爬蟲規則、機器人協議等）也就是robots.txt即可限制在每天爬行多少次，補充：robots協議即網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

將以下內容保存為robots.txt文件，然后傳到根目錄即可。

#限制的搜索引擎的User-Agent代碼，*表示所有###########
User-agent: *
Crawl-delay:2000

Disallow: js/
Disallow: template/
Disallow: include/
Disallow: gotourl.php

其中2000是告訴蜘蛛每天只能爬行2000次，Disallow是告訴蜘蛛不要爬行的目錄。