• WAP手機版 RSS訂閱 加入收藏  設為首頁
seo常識

robots是什么?robots.txt怎么寫?

時間:2016-10-17 15:10:38   作者:毛驢哥   來源:毛驢網   閱讀:1539   評論:0
內容摘要:robots.txt協議是什么?robots文件的寫法!robots.txt有什么作用?怎樣寫網站的robots文件?robots是什么意思?robots是網站和蜘蛛(搜索引擎抓取程序)的第一協議,告訴蜘蛛哪些文件、路徑是可以抓取的,哪些是不可以抓取的協議。

robots是什么?

robots是網站和蜘蛛(搜索引擎抓取程序)的第一協議,告訴蜘蛛哪些文件、路徑是可以抓取的,哪些是不可以抓取的協議。

為什么寫robots?

我們要告訴搜索引擎哪些可以抓,哪些不能抓。例如:一些無用的文件,隱私的


robots語法:

我們新建一個txt文件,命名為robots

我們以www.wytztn.live博客為例:首先我們打開我們的網站的robots.txt文件 http://www.wytztn.live/robots.txt 如下圖

robots是什么?robots.txt怎么寫?

釋:

 

User-agent 用戶代理,定義搜索引擎的類型

* 所有的 匹配0或多個任意字符

Disallow 不允許,禁止抓取收錄地址

Allow 允許抓取收錄地址

$ 結束符

Sitemap 網站地圖

 

練習實例:

①禁止所有搜索引擎訪問訪問網站所有內容(PS:只是練習,不要這樣去寫)

User-agent: *

Disallow: /

 

②禁止百度搜索引擎訪問網站所有內容(PS:只是練習,不要這樣去寫)

User-agent: Baiduspider

Disallow: /

 

③禁止所有搜索引擎訪問網站所有內容

User-agent: *

Disallow: /

 

④允許所有搜索引擎訪問所有內容

User-agent: *

Allow: /

 

⑤允許所有搜索引擎禁止抓取網站動態頁面內容

User-agent: *

Allow: /*?*

 

請告訴以下是什么意思?

①User-agent: Baiduspider

Allow: /*.gif$

Disallow: /*.jpg$

 

允許百度蜘蛛抓取所有的.gif格式的圖片,禁止抓取網站所有的.jpg格式的圖片

(PS:結束符$一般是圖片的加,正常的一般不用)

 

②User-agent: *

Disallow: /news

 

問題:是否可以抓取以下兩個?

Disallow: /news.html

Disallow: /newsadc.html

 

答:禁止抓取以news開頭的路徑或文件

怎么上傳robots文件?

 

打開我們的FTP工具,拖拽上傳到根目錄

 

檢查robots文件是否生效,去百度站長平臺

robots是什么?robots.txt怎么寫?

補充:

 

①記得空格、第一個字母大寫、標點符號用英文狀態下的

②網站上線之前,不要在robots文件中禁止抓取所有。


標簽:robots 
CopyRight © 2013-2015 www.wytztn.live All Rights Reserved   魯ICP備13013110號
海南飞鱼体彩乐吧地址