造成Baiduspider抓取異常的原因

　　有一些網(wǎng)頁(yè)，內容優(yōu)質(zhì)，用戶(hù)也可以正常訪(fǎng)問(wèn)，但是Baiduspider卻無(wú)法正常訪(fǎng)問(wèn)并抓取，造成搜索結果覆蓋率缺失，對百度搜索引擎對站點(diǎn)都是一種損失，百度把這種情況叫“抓取異常”。對于大量?jì)热轃o(wú)法正常抓取的網(wǎng)站，百度搜索引擎會(huì )認為網(wǎng)站存在用戶(hù)體驗上的缺陷，并降低對網(wǎng)站的評價(jià)，在抓取、索引、排序上都會(huì )受到一定程度的負面影響，終影響到網(wǎng)站從百度獲取的流量。

　　下面向站長(cháng)介紹一些常見(jiàn)的抓取異常原因：

　　1，服務(wù)器連接異常

　　服務(wù)器連接異常會(huì )有兩種情況：一種是站點(diǎn)不穩定，Baiduspider嘗試連接您網(wǎng)站的服務(wù)器時(shí)出現暫時(shí)無(wú)法連接的情況；一種是Baiduspider一直無(wú)法連接上您網(wǎng)站的服務(wù)器。

　　造成服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器過(guò)大，超負荷運轉。也有可能是您的網(wǎng)站運行不正常，請檢查網(wǎng)站的web服務(wù)器（如apache、iis）是否安裝且正常運行，并使用瀏覽器檢查主要頁(yè)面能否正常訪(fǎng)問(wèn)。您的網(wǎng)站和主機還可能阻止了Baiduspider的訪(fǎng)問(wèn)，您需要檢查網(wǎng)站和主機的防火墻。

　　2，網(wǎng)絡(luò )運營(yíng)商異常：網(wǎng)絡(luò )運營(yíng)商分電信和聯(lián)通兩種，Baiduspider通過(guò)電信或網(wǎng)通無(wú)法訪(fǎng)問(wèn)您的網(wǎng)站。如果出現這種情況，您需要與網(wǎng)絡(luò )服務(wù)運營(yíng)商進(jìn)行聯(lián)系，或者購買(mǎi)擁有雙線(xiàn)服務(wù)的空間或者購買(mǎi)cdn服務(wù)。

　　3，DNS異常：當Baiduspider無(wú)法解析您網(wǎng)站的IP時(shí)，會(huì )出現DNS異常。可能是您的網(wǎng)站IP地址錯誤，或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者host查詢(xún)自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無(wú)法解析，請與域名注冊商聯(lián)系，更新您的IP地址。

　　4，IP封禁：IP封禁為：限制網(wǎng)絡(luò )的出口IP地址，禁止該IP段的使用者進(jìn)行內容訪(fǎng)問(wèn)，在這里特指封禁了BaiduspiderIP。當您的網(wǎng)站不希望Baiduspider訪(fǎng)問(wèn)時(shí)，才需要該設置，如果您希望Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站，請檢查相關(guān)設置中是否誤添加了BaiduspiderIP。也有可能是您網(wǎng)站所在的空間服務(wù)商把百度IP進(jìn)行了封禁，這時(shí)您需要聯(lián)系服務(wù)商更改設置。

　　5，UA封禁：UA即為用戶(hù)代理（User-Agent），服務(wù)器通過(guò)UA識別訪(fǎng)問(wèn)者的身份。當網(wǎng)站針對指定UA的訪(fǎng)問(wèn)，返回異常頁(yè)面（如403，500）或跳轉到其他頁(yè)面的情況，即為UA封禁。當您的網(wǎng)站不希望Baiduspider訪(fǎng)問(wèn)時(shí)，才需要該設置，如果您希望Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站，useragent相關(guān)的設置中是否有BaiduspiderUA，并及時(shí)修改。

　　6，死鏈：頁(yè)面已經(jīng)無(wú)效，無(wú)法對用戶(hù)提供任何有價(jià)值信息的頁(yè)面就是死鏈接，包括協(xié)議死鏈和內容死鏈兩種形式：

　　協(xié)議死鏈：頁(yè)面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見(jiàn)的如404、403、503狀態(tài)等。

　　內容死鏈：服務(wù)器返回狀態(tài)是正常的，但內容已經(jīng)變更為不存在、已刪除或需要權限等與原內容無(wú)關(guān)的信息頁(yè)面。

　　對于死鏈，我們建議站點(diǎn)使用協(xié)議死鏈，并通過(guò)百度站長(cháng)平臺--死鏈工具向百度提交，以便百度更快地發(fā)現死鏈，減少死鏈對用戶(hù)以及搜索引擎造成的負面影響。

　　7，異常跳轉：將網(wǎng)絡(luò )請求重新指向其他位置即為跳轉。異常跳轉指的是以下幾種情況：

　　1）當前該頁(yè)面為無(wú)效頁(yè)面（內容已刪除、死鏈等），直接跳轉到前一目錄或者頁(yè)，百度建議站長(cháng)將該無(wú)效頁(yè)面的入口超鏈接刪除掉

　　2）跳轉到出錯或者無(wú)效頁(yè)面

　　注意：對于長(cháng)時(shí)間跳轉到其他域名的情況，如網(wǎng)站更換域名，百度建議使用301跳轉協(xié)議進(jìn)行設置。

　　8，其他異常：

　　1）針對百度refer的異常：網(wǎng)頁(yè)針對來(lái)自百度的refer返回不同于正常內容的行為。

　　2）針對百度ua的異常：網(wǎng)頁(yè)對百度UA返回不同于頁(yè)面原內容的行為。

　　3）JS跳轉異常：網(wǎng)頁(yè)加載了百度無(wú)法識別的JS跳轉代碼，使得用戶(hù)通過(guò)搜索結果進(jìn)入頁(yè)面后發(fā)生了跳轉的情況。

　　4）壓力過(guò)大引起的偶然封禁：百度會(huì )根據站點(diǎn)的規模、訪(fǎng)問(wèn)量等信息，自動(dòng)設定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì )根據自身負荷進(jìn)行保護性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是“ServiceUnavailable”)，這樣Baiduspider會(huì )過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì )被成功抓取。

http://ezekroy.com/youhuazixun/1806.html 造成Baiduspider抓取異常的原因