專業居家清潔
免費到府估價,清潔養護馬上搞定
室內設計一張保單輕鬆享有人生各階段風險保障
通通幫您規畫好

首頁  •  tw 論壇 • 網路行銷     • 

設定 robots.txt 教學

房東:孤少爺
發表時間:2006-07-25
[檢舉]


robots.txt 樣本:

User-agent: {Spider名}
Disallow: {File位置}

例:設定所有 robot 不能夠收集 /tmp/ 和 /download/ 目錄中的資料。

User-agent: *
Disallow: /tmp/
Disallow: /download/

例:設定所有 robot 不能夠收集 etc.htm 和 /index/work.html 中的資料。

User-agent: *
Disallow: /etc.htm
Disallow: /index/work.html

例:設定所有 robot 不能夠收集所有網頁資料。

User-agent: *
Disallow: /

例:設定 Google 不能夠收集 /tmp/ 目錄中的資料。

User-agent: Googlebot
Disallow: /tmp/

例:設定 Google 和 Excite 不能夠收集 /tmp/ 和 /index/work.html 目錄中的資料。

User-agent: Googlebot
User-agent: ArchitextSpider
Disallow: /tmp/
Disallow: /index/work.html

對應表:

搜尋引擎Robot 名稱
AltaVista
Scooter
InfoseekInfoseek
HotbotSlurp
AOL SearchSlurp
ExciteArchitextSpider
GoogleGooglebot
GotoSlurp
LycosLycos
MSNSlurp
NetscapeGooglebot
NorthernLightGulliver
WebCrawlerArchitextSpider
IwonSlurp
FastFast
DirectHitGrabber
Yahoo Web PagesGooglebot
Looksmart Web PagesSlurp




  • 贊助網站       

    明日黃金屋
    提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。
    明日黃金屋
    租屋就找明日黃金屋
    易祺清潔公司
    年終大掃除,解決您清潔的困擾,由我們專業的清潔服務員到府提供完善的清潔服務。



  •  共 0 人回應

    姓名:
    佈告內容: