站點出現(xiàn)抓取異常、無法被抓取、返回碼設(shè)置錯誤、死鏈接過多、無效頁面、重定向過多等,直接影響搜索引擎對網(wǎng)站抓取出現(xiàn)異常。將直接導(dǎo)致搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、權(quán)重上都會受到一定程度的負面影響,最終影響到網(wǎng)站從百度獲取的流量。
以下信息來源百度站長幫助中心
什么是抓取異常?
對于互聯(lián)網(wǎng)中可正常訪問的內(nèi)容,百度spider抓取的結(jié)果應(yīng)與普通用戶訪問的內(nèi)容是一致的,除此以外的情況,就是抓取異常。
有那些抓取異常影響:
1.什么是死鏈? 具體請參考:網(wǎng)站死鏈接(稱:無效鏈接)
頁面已經(jīng)無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。
協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈,常見的如404、403、503狀態(tài)等。
內(nèi)容死鏈:服務(wù)器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。
對于死鏈,建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理,以便搜索引擎更快地發(fā)現(xiàn)死鏈,減少死鏈對用戶以及搜索引擎造成的負面影響。
2.什么是IP禁封?
限制網(wǎng)絡(luò)的出口IP地址,禁止該IP段的使用者進行內(nèi)容訪問,即為IP禁封。
3.什么是UA禁封?
UA即為用戶代理(User-Agent),服務(wù)器通過UA識別訪問者的身份。當網(wǎng)站針對指定UA的訪問,返回異常頁面(如403,500)或跳轉(zhuǎn)到其他頁面的情況,即為UA禁封。
3.什么是異常重定向?
將網(wǎng)絡(luò)請求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況
當前該頁面為無效頁面(內(nèi)容已刪除、死鏈等),直接跳轉(zhuǎn)到前一目錄或者首頁,百度建議站長將該無效頁面的入口超鏈接刪除掉
重定向到出錯或者無效頁面
重定向的跳轉(zhuǎn)超過3次,也為異常
注意:對于長時間跳轉(zhuǎn)到其他域名的情況,如網(wǎng)站更換域名,百度建議使用301跳轉(zhuǎn)協(xié)議進行設(shè)置。
4.還有哪些其他異常?
針對百度refer的異常:網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。
針對百度ua的異常:網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。
JS跳轉(zhuǎn)異常:網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼,使得用戶通過搜索結(jié)果進入頁面后發(fā)生了跳轉(zhuǎn)的情況。
壓力過大引起的偶然封禁:百度會根據(jù)站點的規(guī)模,訪問量等信息,自動設(shè)定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務(wù)器會根據(jù)自身負荷進行保護性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣百度spider會過段時間再來嘗試抓取這個鏈接,如果網(wǎng)站已空閑,則會被成功抓取。
抓取異常對網(wǎng)站的影響有哪些?
對于大量內(nèi)容無法正常抓取的網(wǎng)站,搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、權(quán)重上都會受到一定程度的負面影響,最終影響到網(wǎng)站從百度獲取的流量。
文章來源:公眾號SEO實戰(zhàn)營(ID:ilottecn),原文鏈接:https://mp.weixin.qq.com/s/mxOYXPuNciA-RVPzacovPQ
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!