禁止搜索引擎抓取robots.txt文件的設(shè)置常識(shí)

　　通常情況下,網(wǎng)站都是需要讓搜索引擎收錄的,這樣才能更好地增加網(wǎng)站的訪問量,但是也有個(gè)別行業(yè)的網(wǎng)站,如安全性要求較高銀行和企業(yè)的內(nèi)部管理系統(tǒng)等他們這種站的安全性和私密性較高,肯定是不希望把數(shù)據(jù)在第三方上顯露,那么如果禁止網(wǎng)站被搜索引擎抓取呢?盛輝科技總結(jié)如下:

　　先在站點(diǎn)的根目錄下新建一個(gè)robots.txt文本文件。當(dāng)搜索蜘蛛訪問這個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索蜘蛛就會(huì)先讀取這個(gè)文件的內(nèi)容:

　　文件寫法

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符

　　Disallow: / 這里定義是禁止爬尋站點(diǎn)所有的內(nèi)容

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

　　Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

　　Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

　　Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號(hào) (?) 的網(wǎng)址

　　Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

　　Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

　　Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

　　Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄

　　Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

　　Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片

　　Sitemap: 網(wǎng)站地圖 告訴爬蟲這個(gè)頁面是網(wǎng)站地圖

　　下面列出來的是比較出名的搜索引擎蜘蛛名稱：

　　Google的蜘蛛： Googlebot

　　百度的蜘蛛：baiduspider

　　Yahoo的蜘蛛：Yahoo Slurp

　　MSN的蜘蛛：Msnbot

　　Altavista的蜘蛛：Scooter

　　Lycos的蜘蛛： Lycos_Spider_(T-Rex)

　　Alltheweb的蜘蛛： FAST-WebCrawler/

　　INKTOMI的蜘蛛： Slurp

　　SOGOU的蜘蛛：Sogou web spider/4.0和Sogou inst spider/4.0

　　按照以上的說明,我們可以給大案一個(gè)示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:

　　User-agent: Sogou web spider/4.0

　　Disallow: /goods.php

　　Disallow: /category.php