robots協(xié)議或者說robots文件對搜索引擎優(yōu)化中非常重要，但設(shè)置出錯可能會導(dǎo)致收錄下降或不能正常收錄。今天，小小課堂SEO自學(xué)網(wǎng)帶來的是《【robots文件協(xié)議】解除Robots封禁全過程》。希望本次的百度SEO優(yōu)化培訓(xùn)對大家有所幫助。
一、robots被封禁的問題來源
小小課堂SEO自學(xué)網(wǎng)為WordPress博客，前幾天弄了個“SEO問答”的欄目，是由一個新的CMS系統(tǒng)創(chuàng)建而成的，而這個系統(tǒng)是動態(tài)URL，未做偽靜態(tài)處理。
SEO問答首頁的URL：https://www.***.org/ask/
SEO問答欄目的URL：https://www.***.org/ask/?expert/default.html
SEO問答文章列表的URL：https://www.***.org/ask/?c-1.html
SEO問答文章的URL：https://www.***.org/ask/?q-176.html
從上可以看出除了SEO問答首頁，其余的都是帶問號的，然而，WordPress根目錄的robots.txt中包含了以下一條：
Disallow: /*?*
因為這一條的意思是禁止訪問網(wǎng)站中所有包含問號(?) 的網(wǎng)址，所以上面的那些帶問號的URL就被禁止搜索引擎抓取了。
二、解除Robots封禁全過程
小小課堂SEO自學(xué)網(wǎng)解除robots文件協(xié)議的全過程如下：
① 去掉robots禁止抓取的規(guī)則
也就是去掉Disallow: /*?* 。
② 抓取失敗
進(jìn)入百度站長后臺后，點擊“數(shù)據(jù)監(jiān)控”>“抓取診斷”>輸入網(wǎng)址后面的部分，最后點擊抓取。
③ 點擊“抓取失敗”
通過下圖可以看出“抓取異常信息：Robots封禁”，點擊“網(wǎng)站IP：106.***.***.217”后面的“報錯”。略等一會即可。
④ Robots檢測并更新
點擊檢測并更新robots。
以上就是小小課堂SEO自學(xué)網(wǎng)帶來的是《【robots文件協(xié)議】解除Robots封禁全過程》。感謝您的觀看。網(wǎng)絡(luò)營銷培訓(xùn)認(rèn)準(zhǔn)小小課堂!SEO培訓(xùn)認(rèn)準(zhǔn)小小課堂!更多seo教程搜索小小課堂。原創(chuàng)文章歡迎轉(zhuǎn)載并保留版權(quán)：https://www.xxkt.org/
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
