在網(wǎng)站日常運(yùn)營,死鏈?zhǔn)请y免會產(chǎn)生的,不僅影響了用戶體驗(yàn),也影響了搜索效果;針對這一現(xiàn)象,我們邀請了站長社區(qū)版主—三木為大家分享死鏈處理心得。
本文主要講述死鏈對網(wǎng)站的影響;死鏈?zhǔn)侨绾萎a(chǎn)生的;如何發(fā)現(xiàn)死鏈;如何正確處理死鏈。
一、大量死鏈對搜索引擎來講,有什么影響?
1、死鏈率過高,會影響搜索引擎對網(wǎng)站的評分。
2、搜索引擎對每個網(wǎng)站每天抓取的頻次是限額的,若網(wǎng)站存在大量死鏈,會浪費(fèi)掉抓取配額并影響其他正常頁面的抓取。
3、過多死鏈對網(wǎng)站用戶來講也是體驗(yàn)不好的表現(xiàn)。
二、死鏈接是如何產(chǎn)生的?
1、網(wǎng)站內(nèi)部添加了錯誤的內(nèi)部鏈接
編輯失誤或者程序員大意讓頁面產(chǎn)生了不存在的頁面。
2、網(wǎng)站短暫無法訪問
因?yàn)榉?wù)器、空間或程序問題導(dǎo)致網(wǎng)站短暫無法訪問,產(chǎn)生大量返回碼為5開頭的服務(wù)器錯誤頁面。
3、外部鏈接錯誤
用戶或者站長在站外發(fā)布了錯誤URL;別的網(wǎng)站復(fù)制或采集了你們含有錯誤鏈接的頁面。
4、爬蟲提取了不完整的URL
個別爬蟲在提取頁面URL的時候,因?yàn)閁RL中有不規(guī)則字符或者URL與后邊的文字鏈接起來,導(dǎo)致URL失效。
5、網(wǎng)站改版
如果你的網(wǎng)站已經(jīng)改版或者將要改版,一定要注意死鏈問題,很多網(wǎng)站改版后,之前的老頁面直接刪除,導(dǎo)致了大量的死鏈接。
6、管理員刪除頁面
網(wǎng)站管理員刪除被黑、廣告、過時、被灌水頁面導(dǎo)致很多死鏈接。
三、如何發(fā)現(xiàn)網(wǎng)站中存在的死鏈接?
1、百度站長工具中的抓取異常工具可以查看最近一個月產(chǎn)生的各種死鏈,并支持導(dǎo)出功能。
2、使用相關(guān)爬蟲軟件,比如Xenu,此類工具可以爬取全站所有鏈接并分析頁面狀態(tài),分析完成后,支持導(dǎo)出功能,提取死鏈接即可。
3、在網(wǎng)站運(yùn)營中,特別是論壇,經(jīng)常需要刪除某些頁面,在刪除頁面時一定要記錄對應(yīng)的Url以便后期提交死鏈。
通過上述兩種辦法提取的死鏈列表,一定要經(jīng)過刪重和驗(yàn)證,比如用wps表格進(jìn)行刪除重復(fù)鏈接,然后再使用Http狀態(tài)批量查詢工具驗(yàn)證下是否確實(shí)是死鏈接。
四、如何避免和處理死鏈接?
1、網(wǎng)站改版最容易產(chǎn)生死鏈的
改版之前的頁面如果有價值盡量不要刪除和修改Url,若需要更換域名或Url分配規(guī)則,那一定要將之前的url進(jìn)行301跳轉(zhuǎn)到對應(yīng)的Url;若老的數(shù)據(jù)必須刪除,那刪除的所有頁面Url要進(jìn)行整理和提交死鏈。
2、對發(fā)現(xiàn)的死鏈接如何處理
將收集好的所有死鏈接粘貼到網(wǎng)站根目錄的一個文檔中,再把文檔地址提交到 百度站長工具--網(wǎng)頁抓取--死鏈提交--添加新數(shù)據(jù)--填寫死鏈文件地址;若大量死鏈具有一定的規(guī)則,如某個目錄下全部為死鏈接,可提交規(guī)則死鏈。
相關(guān)注意事項(xiàng):
1、在百度站長工具中提交死鏈前,一定要確保提交的死鏈數(shù)據(jù)不存在活鏈接。一旦存在活鏈,會顯示提交失敗導(dǎo)致無法刪除。
2、由于很多網(wǎng)站程序問題,很多打不開的頁面返回碼并非404,這是一個大問題,比如明明是打不開的頁面返回碼是301、200、500,如果是200的話,會導(dǎo)致網(wǎng)站中出現(xiàn)不同URL獲取相同內(nèi)容。比如我的一個站,社區(qū)的帖子刪除后,返回碼卻是500,后期發(fā)現(xiàn)了,立馬進(jìn)行了處理。大家盡量找出所有錯誤URL格式,并設(shè)置HTTP狀態(tài)碼為404。
3、把所有的錯誤頁面找到后,一定要尋找此類頁面URL相同特征,并且和正常頁面的特征有區(qū)分,寫對應(yīng)規(guī)則到robots文件中,禁止蜘蛛抓取,就算你已經(jīng)在站長工具中提交了死鏈,也建議robots封禁抓取。
4、robots只能解決蜘蛛不再抓取此類頁面,但解決不了已經(jīng)收錄頁面的快照刪除問題,若你的網(wǎng)站被黑,刪除了被黑頁面,除了robots封禁被黑頁面外,還應(yīng)該將這些頁面提交死鏈。提交死鏈?zhǔn)莿h除被黑頁面快照的最快辦法。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!