在診斷過程中，我們會遇到這樣的問題。有些網(wǎng)頁內(nèi)容很好，用戶可以正常訪問。然而，搜索引擎蜘蛛只是不能正常訪問和抓取它們，導(dǎo)致搜索結(jié)果覆蓋率不足，這是百度等搜索引擎和網(wǎng)站的損失。百度稱之為“搶奪例外”。對于很多內(nèi)容不能正常抓取的網(wǎng)站，100搜索引擎會認為網(wǎng)站存在用戶體驗的缺陷，降低網(wǎng)站的評價，在抓取、索引、排序等方面會受到一定程度的影響，從而終影響網(wǎng)站從搜索引擎獲取流量。

下面總結(jié)一些常見的搜索引擎蜘蛛抓取不到的原因，供大家參考。

有兩種服務(wù)器連接異常：一是網(wǎng)站不穩(wěn)定，百度蜘蛛在嘗試連接到你的網(wǎng)站服務(wù)器時暫時無法連接；二是百度蜘蛛已經(jīng)無法連接到你的網(wǎng)站服務(wù)器。

服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器太大和過載。您網(wǎng)站上的程序也可能無法正常工作。此方法可以檢查空間的服務(wù)器（如Apache、IIS）是否已安裝或正常運行，或者空間的防火墻是否阻止蜘蛛爬網(wǎng)。

有兩種網(wǎng)絡(luò)運營商：電信、聯(lián)通和移動。百度蜘蛛無法通過運營商的網(wǎng)絡(luò)訪問你的網(wǎng)站，所以你需要聯(lián)系運營商，或者購買更好的服務(wù)空間或CDN服務(wù)。

當(dāng)百度蜘蛛無法解析你的網(wǎng)站IP時，就會出現(xiàn)DNS異常?？赡苁悄愕木W(wǎng)站IP地址不對，或者百度蜘蛛被域名服務(wù)商禁止。您可以使用whois或host來檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒有，請與域名服務(wù)提供商聯(lián)系。例如，pro犁SEO的域名提供商是Wannet，并更新IP地址。

IP屏蔽的性能包括：限制網(wǎng)絡(luò)的導(dǎo)出IP地址，禁止該IP段的用戶訪問內(nèi)容，特別是屏蔽百度蜘蛛的IP地址。當(dāng)你的網(wǎng)站不想百度蜘蛛訪問，你可以設(shè)置它。如果您希望百度蜘蛛訪問，請檢查相關(guān)設(shè)置，或聯(lián)系空間服務(wù)提供商更改設(shè)置。當(dāng)然，百度蜘蛛一般都會搶到它。

總結(jié)搜索引擎蜘蛛抓取不到頁面的原因及改善措施

簡而言之，死鏈接指的是正常但后來失敗的鏈接。當(dāng)死鏈接發(fā)送請求時，服務(wù)器返回404錯誤頁。死鏈包括協(xié)議死鏈和內(nèi)容死鏈。協(xié)議死鏈：由頁面的TCP協(xié)議狀態(tài)/ HTTP協(xié)議狀態(tài)明確指示的死鏈，如404, 403, 503狀態(tài)等內(nèi)容死鏈：服務(wù)器返回的狀態(tài)是正常的，但內(nèi)容已被更改為不存在的信息頁，已被刪除，或需要權(quán)限，與原文內(nèi)容無關(guān)。

對于死鏈，建議網(wǎng)站使用協(xié)議死鏈，通過百度站長平臺死鏈工具提交給百度，這樣百度可以更快地找到死鏈，減少死鏈對用戶和搜索引擎的影響。

將網(wǎng)絡(luò)請求重定向到另一個位置是一個跳轉(zhuǎn)，它指的是以下情況：

（1） 當(dāng)前頁是無效頁（包括要刪除的內(nèi)容、死鏈等），直接跳轉(zhuǎn)到上一個目錄或主頁。百度的建議是刪除無效頁面的入口超鏈接。

（2）長期以來跳轉(zhuǎn)到其他域名，如更改網(wǎng)站域名，百度建議使用301重定向跳轉(zhuǎn)協(xié)議進行設(shè)置。

（3） 對于百度引薦人的例外情況：該網(wǎng)頁不用于百度引薦人的正常行為；

（4） 對于Baidu-UA的例外：返回Baidu-UA頁面的行為與頁面的原始內(nèi)容不同；

（5） JS跳轉(zhuǎn)異常：網(wǎng)頁加載百度無法識別和發(fā)送的JS跳轉(zhuǎn)代碼，用戶通過搜索結(jié)果進入網(wǎng)頁后跳轉(zhuǎn)。

（6） 偶爾因壓力過大而被禁：百度會根據(jù)網(wǎng)站規(guī)模、訪問量等信息自動設(shè)置合理的抓取壓力。但在壓力控制異常等異常情況下，服務(wù)器會根據(jù)自身負載進行保護意外閉鎖。在這種情況下，請在返回碼中返回503（503serviceunavailable，等同于404serviceunavailable），百度蜘蛛會在一段時間內(nèi)再次嘗試抓取鏈接。如果網(wǎng)站處于空閑狀態(tài)，將成功對其進行爬網(wǎng)。