輝聲輝語

Hi, 請登錄

禁止抓取機制robots.txt設置方法及注意事項

今天我們主要學習一下robots.txt文件的使用和設置方法。

一、認識robots.txt文件

從網站優化和網站安全的方面來說,我們的站點并不是每一個頁面都需要用戶訪問,這就好比即使再好的朋友來到了您的家里,您也不會將家里所有的東西都展示給朋友看。那么怎么控制搜索引擎蜘蛛抓取網站的范圍呢?這就是我們今天要講的主角——robots.txt文件。

robots.txt文件是搜索引擎來到網站之后訪問的第一文件,robots.txt文件中設置了搜索引擎的抓取范圍。

禁止抓取機制robots.txt設置方法及注意事項


二、robots.txt文件設置要求

1、robots.txt文件必須放置在網站根目錄;

2、robots.txt文件名必須小寫。

根據上面兩點提示我們查看到絕大部分網站的robots.txt文件,如果出現無法訪問的現象,最大可能就是網站根目錄中沒有此文件。

三、robots.txt文件規則解讀

robots.txt的書寫格式為:<域>:<可選空格><域值><可選空格>

常見的robots.txt指令為:

User-agent: *

Disallow: /

此指令代表禁止所有的搜索引擎抓取網站的任何部分。此指令常用于站點不想被搜索引擎收錄或者建站初期,當網站結構沒有建設完成的時候,我們是不希望搜索引擎抓取網站任何內容的。

1、User-agent:

用于指定某個搜索引擎蜘蛛,如果使用通配符*代表所有的搜索引擎蜘蛛,如:

User-agent: Baiduspider指的是指定百度蜘蛛;

User-agent: Googlebot 指的是指定谷歌蜘蛛。

2、Disallow: /

代表著禁止抓取網站的某些內容,如“/”后面沒有任何參數代表禁止抓取網站所有內容。我們來學習一下參數后面分別代表的含義:

Disallow: /admin/ 禁止抓取admin目錄下的所有內容;

Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin目錄下的所有以.htm結尾的文件;

Disallow: /*?* 禁止抓取網站中所有包含問號 (?) 的網址;

Disallow:/ab/adc.html 禁止抓取ab文件夾下面的adc.html文件;

在這里重點強調一點,Disallow指令有一個比較特殊的地方,Disallow: /代表著禁止抓取,但是Disallow: 代表著允許抓取,如:

User-agent: *

Disallow:

此指令代表允許所有的搜索引擎抓取網站的任何內容。

3、Allow:/

該指令用于允許蜘蛛抓取某些文件。Allow:/指令后面的參數與Disallow指令相同,如:

User-agent: *

Disallow: /a/

Allow: /a/b/

該指令的含義是不允許蜘蛛抓取a目錄下的其他目錄和文件,但是可以抓取a目錄下的b目錄中的內容。

4、$通配符,代表著以某個字符結尾的URL。

User-agent: *

Disallow: /.jpg$

此指令的含義是禁止所有搜索引擎抓取所有.jpg文件。

$指令在效果上有些地方和*是相同的,$指令常見于動態網址,互聯網中應用不是特別廣泛。

Disallow: /.jpg$ 等同于 Disallow: /*.jpg

5、Sitemap:告訴蜘蛛XML網站地圖的位置,格式為:

Sitemap:http://你的域名/sitemap.xml

主流的搜索引擎都會遵守robots文件指令,但是被robots文件禁止抓取的網址還會出現在搜索引擎結果中,這就好比你雖然不告訴我發生了什么事,但是我從別人那里知道了你的事情一樣。只要禁止被抓取的網址在互聯網中存在導入鏈接,搜索引擎就會知道這個網址的存在,有可能被搜索引擎收錄,但是搜索結果標題下方會出現對應的提示:

由于該網站的tobots.txt文件存在限制指令(限制搜索引擎抓取),系統無法提供該頁面的內容。

歡迎關注【輝聲輝語】自媒體,更多內容/合作請關注輝聲輝語李輝。(公眾號名稱:輝聲輝語,ID:lihuisem)

相關推薦

評論 1

  • 昵稱 (必填)
  • 郵箱
  • 網址
  1. #1

    這個漲見識了,馬上去應用到自己的網站上。

    企業工具庫 2019-11-06 09:59:36 回復
守望英雄app 金博棋牌官网在线客服 679彩票首页 88娱乐城 天津十一选五14期开奖 网游魔域赚钱 彩票计划群靠谱吗 分析007 什么键盘打字能赚钱 哪些靠谱在家赚钱方法 怎样从vr赚钱 福建时时彩11选五开奖结果查询结果 青海十一选五开奖视频 广西快乐十分开将结果非凡 福建快3走势图福建快3基本走势图 黑龙江时时500 澳门电玩城网址是多少