一個關于robots的問題：我們有個站點的目錄結構使用的是中文，這樣式兒的：www.a.com/冒險島/123.html，那在制作robots文件和sitemap文件的時候，可以直接使用中文嗎?百度能獲取到嗎?在實際操作中我們發(fā)現，sitemap中有文件是可以生效的，但robots封禁貌似沒有反應，所以想確認一下：robots文件是否支持中文?
工程師解答：Baiduspider目前(2016年10月)在robots里是不支持中文的。
同學追問：那我們進行UrlEncode編碼會不會支持呢?比如這種：
工程師解答：robots文件支持這種寫法。但是否生效，還要取決于當時BaiduSpider抓取的是哪種形式結構的鏈接，如果是UrlEncode編碼就可以生效，如果是中文就非常不幸了。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
robots協議也叫robots.txt（統一小寫）是一種存放于網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。
今天大概總結一下：首先說明一點：每天百度派出的蜘蛛是有限的，robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄！
當我們的網站上線之后，一定會有一些不想讓百度抓取的頁面、文件，針對這種問題，我們就要使用協議去屏蔽。那么這個協議是什么？究竟怎么寫這個協議呢？
曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復雜?曾慶平SEO的robots.txt：http://www.xxx.com/robots.txt這樣做的目的是，讓搜索引擎看來網站更規(guī)范和權威。
如果以上都沒有錯誤，那么你就要檢查你的CDN了，很可能是因為CDN緩存而造成的，或者是你配置了https，而站長平臺卻綁定的http，無法訪問，這兩點自己排查，如果以上都做到，那么是不會提示這類錯誤的，當然也不排查百度站長平臺本身的問題，不過這種機率性很小。
