域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

按照雅虎官方的解釋，如果我們想要禁止雅虎搜索網(wǎng)站內(nèi)容，在我們的服務(wù)器的根目錄中放置一個(gè) robots.txt 文件，加入以下內(nèi)容：

User-Agent: *

Disallow: /

因?yàn)橐陨鲜谴蟛糠志W(wǎng)絡(luò)搜索程序都會(huì)遵守的標(biāo)準(zhǔn)協(xié)議，加入這些協(xié)議后，不僅雅虎搜索無(wú)法抓取網(wǎng)站內(nèi)容，其他搜索程序都不會(huì)再抓取我們的網(wǎng)絡(luò)服務(wù)器或目錄。

所以網(wǎng)智成建議您，應(yīng)慎重選擇，我們可以寫成這樣:

User-Agent: Googlebot

Disallow:

User-Agent: *

Disallow: /

這樣寫就是只有名為Googlebot的爬蟲可以抓網(wǎng)站所有的內(nèi)容，雅虎搜索和其他搜索引擎的爬蟲都不能抓取網(wǎng)站的所有內(nèi)容。

或者

User-agent: slurp

Disallow: /

只禁止雅虎的"slurp"搜索引擎蜘蛛的抓取。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！