User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網站建設摘自權威資料，書籍，或網絡原創(chuàng)文章，如有版權糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯(lián)絡方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
響應式網站并不適合市面上所有類型公司
怎樣才能做好一個呼應式網站?信任這是許多公司朋友想要掌握的。跟著互聯(lián)網技能的迅速展開，公司對企業(yè)網站制作的觀念益發(fā)劇烈，從被迫建網站到自動建網站，特別是跟著H5呼應...
-
閱讀小程序開發(fā)
互聯(lián)網閱讀方式多種多樣，其中小程序的閱讀方式是不受限制的，不需要下載就能在線瀏覽觀看。通過一個掌上閱讀小程序就可以直接的瀏覽各種行業(yè)的資訊，內容。無論是內容上還是...
-
會議室預約小程序軟件開發(fā)
分析系統(tǒng)功能 會議室預約小程序挼件開發(fā)是基于微信小程序的系統(tǒng)，我們需要先分析預約實現(xiàn)的功能有哪些，后臺的功能有哪些。 可行性分析 主要是對項目的開發(fā)意...
-
量化跟單app解決方案
量化交易跟單系統(tǒng)主要功能包括： 1.方向 2.進場 3.出場 4.風控四個模塊。 1、方向：方向是判斷的正確是否決定了交易是否會獲得盈利，不同的周期方向會有...
-
seo外包公司哪家好-選擇專業(yè)公司要記牢這三點
企業(yè)選擇seo優(yōu)化外包公司，如果想要得到更好服務體驗，前提就是要了解SEO外包公司哪家好這個問題。通過對比不同公司的實際情況，尤其是考量下面這3點標準，就能選擇更值得信賴...
