對于SEO人員來(lái)說(shuō),百度官方的工具往往是用來(lái)查看站點(diǎn)指標是否符合預期。其中,“抓取診斷”是網(wǎng)絡(luò )管理員經(jīng)常使用的工具。許多網(wǎng)站管理員說(shuō),在網(wǎng)站上使用“抓取診斷”時(shí),經(jīng)常會(huì )有診斷失敗的提示,那么問(wèn)題是什么呢?
百度抓取診斷工具,主要是從百度蜘蛛的角度來(lái)了解網(wǎng)站的內容,其結果反饋,代表著(zhù)蜘蛛對網(wǎng)站內容的理解,通常對失敗的站點(diǎn)抓取診斷,與百度蜘蛛爬行有直接關(guān)系。
網(wǎng)站“爬行診斷”失敗的原因是什么?
1、禁止使用Robots.txt
如果你用機器人屏蔽百度爬行網(wǎng)站的Robots.txt目錄,當你在那個(gè)目錄中生成內容時(shí),百度很難對目錄下的內容進(jìn)行抓取,而抓取診斷也會(huì )失敗報警。
2、網(wǎng)站訪(fǎng)問(wèn)速度
很多站長(cháng)說(shuō),在本地測試中,我的網(wǎng)站返回了HTTP狀態(tài)代碼200,但是爬行診斷已經(jīng)顯示在爬行中,沒(méi)有反饋結果。
由于服務(wù)器線(xiàn)路的不同,百度蜘蛛抓取速度可能會(huì )延遲太長(cháng),它會(huì )產(chǎn)生明顯的可訪(fǎng)問(wèn)性,但會(huì )有抓取診斷失敗。
當您遇到這個(gè)問(wèn)題時(shí),需要定期監控服務(wù)器的訪(fǎng)問(wèn)速度,優(yōu)化網(wǎng)站的開(kāi)放速度。
3、cdn緩存更新
我們知道cdn緩存更新需要時(shí)間。雖然您在管理平臺的后臺實(shí)時(shí)在線(xiàn)更新,但由于不同服務(wù)提供商的技術(shù)不對稱(chēng),往往會(huì )產(chǎn)生一定的時(shí)間延遲。
這將不可避免地導致網(wǎng)站爬行失敗。
4、帶跳躍的抓取診斷
如果你更新舊內容和修改網(wǎng)站,并使用301或302進(jìn)行跳轉,由于配置錯誤,重定向次數太多,這也會(huì )導致百度爬行失敗。
5、DNS緩存服務(wù)
由于存在DNS緩存,當您在本地查詢(xún)URL時(shí),可以正常訪(fǎng)問(wèn)它們,但除去上面提到的全部問(wèn)題,爬行診斷仍然失敗,因此您需要更新本地DNS緩存,或使用代理IP,可以非常順利地訪(fǎng)問(wèn)檢閱站點(diǎn)。
網(wǎng)站“爬行診斷”常見(jiàn)問(wèn)題:
對于百度抓取診斷工具,搜索引擎優(yōu)化顧問(wèn)被問(wèn)到的問(wèn)題最多:百度抓取診斷幫助包括哪些?
從目前許多SEO工作人員的反饋結果來(lái)看,沒(méi)有合理的數據作為支持,這可以證明抓取診斷工具有利于百度收錄,但可能對百度快照更新有一定的影響。