首頁科技SEO
加入時間:2009-05-06資本額:50萬
瀏覽次數:612by:首頁科技
了解robots.txt
萬維網機器人(也稱為流浪者或蜘蛛)的程序,穿越許多頁面,在萬維網的遞歸檢索鏈接的網頁。更多信息請參閱 機器人頁。 在1993年和1994年也有一些情況下,機器人訪問了WWW服務器,他們不歡迎各種原
萬維網機器人(也稱為流浪者或蜘蛛)的程序,穿越許多頁面,在萬維網的遞歸檢索鏈接的網頁。更多信息請參閱 機器人頁。
在1993年和1994年也有一些情況下,機器人訪問了WWW服務器,他們不歡迎各種原因。有時這些機器人的具體原因,例如某些機器人淹沒服務器與速射要求,或相同的文件檢索反复。在其他情況下機器人走過部分WWW服務器的不適合,例如很深的虛擬樹木,重複信息,臨時信息,或CGI -腳本的副作用(如投票)。
這些事件表明需要建立的機制為WWW服務器,以表明對機器人的哪些部分的服務器不應該訪問。本標準滿足這一需求的業務解決方案。
該方法
該方法用於排除機器人從服務器是創建一個服務器上的文件,指定訪問策略的機器人。該文件必須可通過HTTP本地網址“/ robots.txt的“。內容此文件的指定下面。
之所以選擇這種方法,因為它可以很容易地實施現有的任何WWW服務器,和機器人可以找到通往政策,只有一個文件檢索。
一種可能的缺點,這個單文件的做法是,只有服務器管理員可以保持這樣一份名單,而不是個別的文件服務器上的維護者。這可以解決當地的進程來構造一個文件從一數別人的,但如果,或如何,這樣做是對的範圍之外本文件。
選擇的網址是出於幾個標準:
文件名應該適應文件命名限制所有常用的操作系統。
文件擴展名應該不需要額外的服務器配置。
文件名應表明該文件的目的,並很容易記住。
這種可能性的衝突與現有的文件應該很小。
格式
的格式和語義的“/ robots.txt的“文件如下:該文件包含一個或多個記錄分隔由一個或多個空行(終止由CR,鉻/倪,或NL)的。每個記錄包含行的形式“: <值“。字段名稱不區分大小寫。
評論可以包含在文件中使用UNIX Bourne shell的公約:'#'字符是用來表明前面的空間(如果有的話),其餘行到線路終端將被丟棄。行只包含評論是完全排除,因此並不表明紀錄邊界。
記錄開始與一個或多個 用戶代理 行,後面跟著一個或多個 不允許 線,詳情如下。未確認的頭被忽略。
用戶代理
在這方面值的名稱是機器人的記錄,說明訪問的政策。
如果有多個用戶代理領域存在的記錄描述了相同的訪問政策,一個多機器人。至少有一個外地需求在場每紀錄。
該機器人要開放,在解釋這一領域。不區分大小寫子串匹配的名字沒有版本信息,建議。
如果該值是'*',記錄描述了默認的訪問策略的任何機器人具有不匹配任何其他記錄。這是不允許有多個這樣的記錄在“/ robots.txt的“文件。
不允許
在這方面的價值的部分指定網址不被訪問。這可以是一個完整路徑,或部分道路,任何網址開頭此值將無法取回。例如, 不允許:/幫助 既不允許 / help.html 和 /幫助/ index.html,而 不允許:/幫助/ 將不允許 /幫助/ index.html 但允許 / help.html。
任何空值,顯示所有的URL可以檢索。至少有一個不允許字段必須存在於記錄。
存在的一個空的“/ robots.txt的“文件沒有明確的關聯語義,這將被視為如果它不存在,也就是說,所有的機器人會考慮自己的歡迎。
實例
下面的例子“/ robots.txt的“文件規定,任何機器人應該訪問的任何網址的開始”/網絡世界/地圖/“或”/ tmp目錄/“,或 / foo.html:
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html
這個例子“/ robots.txt的“文件規定,任何機器人應該訪問的任何網址的開始”/網絡世界/地圖/“除了機器人名為”cybermapper“:
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
# Cybermapper knows where to go.
User-agent: cybermapper
Disallow:
這個例子表明沒有機器人訪問本網站應進一步:
# go away
User-agent: *
Disallow: /
首頁科技 關鍵字 關鍵字行銷 關鍵字排名 關鍵字廣告 網頁優化 SEO 網路行銷 網站排名 自然搜尋
網路行銷 SEO 關鍵字 關鍵字行銷 關鍵字廣告 關鍵字排名 PR值 外部連結 網站排名 網路排名 自然搜尋 網頁優化 網站優化 搜尋引擎 網頁設計
首頁科技
公司位置:高雄市-小港區
統一編號:28601460
聯絡人:熊先生
電話:07-8060111
手機:0986355588
服務時間:週一~周日AM09:30~17:30 行動電話:0986-355-588全年無休
相關產品
-
了解robots.txt
萬維網機器人(也稱為流浪者或蜘蛛)的程序,穿越許多頁面,在萬
-
怎樣是弊排名方式?對於網站排名影響
搜尋引擎網站排名技術,可以分為正規劃的網站優質化SEO與網站
相關服務
-
如何運用網站流量
網站流量一直是網站排名最重要的環節分數,高流量的網站如果沒有
-
網頁內容需要注意些什麼?
網頁內容是寫給誰看的?這個問題一般來說會回答當然是給『消費者
-
SEO的六項步驟
搜尋引擎優化 SEO 一般有哪些步驟或環節?SEO並不是簡單
-
SEO優化七種秘笈
搜尋引擎 SEO 優化是有一定的技巧的,最大的技巧是適度,其
-
如何分析競爭對手
對於做好網站關鍵字排名來說,正確分析競爭對手,在整個的搜尋引
-
SEO技巧
SEO對於懂得網站排名的人來說已不陌生,SEO的作用是人人皆
-
網站排名SEO到底應該怎麼做?
網站排名SEO到底應該怎麼做?SEO行銷行動網建議,應努力方
-
相關詢價
-
詢問錄影機請報價!!
來自:嘉OO興OO小 詢價
***s2860885411@gmail.com
-
詢問淨山-淨灘活動+親子活動報價
來自:神OO技OO有OO司 詢價
***y.chiu@senao.com
-
詢問機上媒體(包括電視、雜誌)及機場媒體(貴賓室及燈箱投放)的分別報價,謝謝!
來自:黃OO 詢價
***charlenehuang@gmail.com
https://aplus-tz.web66.com.tw/web/NMD?postId=1255334FESTO 單向導引逆止閥HGL-1-4-B
FESTO單向導引逆止閥 530031 HGL-1/4-B