域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。

舉例：

如果將網(wǎng)站視為酒店里的一個(gè)房間，robots.txt就是主人在房間門(mén)口懸掛的“請(qǐng)勿打擾”或“歡迎打掃”的提示牌。這個(gè)文件告訴來(lái)訪的搜索引擎哪些房間可以進(jìn)入和參觀，哪些房間因?yàn)榇娣刨F重物品，或可能涉及住戶及訪客的隱私而不對(duì)搜索引擎開(kāi)放。但robots.txt不是命令，也不是防火墻，如同守門(mén)人無(wú)法阻止竊賊等惡意闖入者。

這里不給時(shí)間大家看了，看完教程再仔細(xì)閱讀一下，很容易理解的，其實(shí)就是SEO中的環(huán)節(jié)，做SEO的人都知道，這個(gè)文件很常用，為了不讓百度蜘蛛抓取你的一些不重要的頁(yè)面，或是你想百度蜘蛛抓取你的什么頁(yè)面，就靠這個(gè)文件來(lái)控制即可，所以就給了我們?nèi)肭终叽蟠蟮姆奖?，根?jù)我的經(jīng)驗(yàn)

有的時(shí)候各種掃目錄，也找不到后臺(tái)的時(shí)候，小心翼翼的訪問(wèn)一下這個(gè)文件，蛋疼的你就發(fā)現(xiàn)這個(gè)文件里面很多目錄，其中可愛(ài)的后臺(tái)地址就赫赫的展現(xiàn)在上面，你訪問(wèn)一下就獲得后臺(tái)地址了!

下面來(lái)實(shí)戰(zhàn)一下，讓大家看看效果

看目錄，就知道是織夢(mèng)程序 這個(gè)ICO也能看出。

User-agent: *

Disallow: /plus/ad_js.php

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

這個(gè)沒(méi)有后臺(tái)地址，至少我沒(méi)看出可疑的文件，原來(lái)是默認(rèn)后臺(tái)地址 dede/

Disallow: /wp-admin/

Disallow: /wp-login.php

Disallow：不允許蜘蛛抓取的意思 一看就知道這是后臺(tái)地址，試試，對(duì)吧

#

# robots.txt for Discuz! X3

#

User-agent: *

Disallow: /api/

Disallow: /data/

Disallow: /source/

Disallow: /install/

Disallow: /template/

Disallow: /config/

Disallow: /uc_client/

Disallow: /uc_server/

Disallow: /static/

Disallow: /admin.php

Disallow: /search.php

Disallow: /member.php

Disallow: /api.php

Disallow: /misc.php

Disallow: /connect.php

Disallow: /forum.php?mod=redirect*

Disallow: /forum.php?mod=post*

Disallow: /home.php?mod=spacecp*

Disallow: /userapp.php?mod=app&*

Disallow: /*?mod=misc*

Disallow: /*?mod=attachment*

通過(guò)這里，可以看出這個(gè)是Discuz! X3程序 x3版本的，是一個(gè)論壇

1.可以獲取后臺(tái)地址 效率不錯(cuò)

2.可以獲得網(wǎng)站程序名稱(chēng)

入侵的時(shí)候，別忘了這個(gè)文件即可! 教程結(jié)束

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！