Baiduspider遵守互聯(lián)網(wǎng)robots協(xié)議。您可以利用robots.txt文件完全禁止Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站，或者禁止 Baiduspider訪(fǎng)問(wèn)您網(wǎng)站上的部分文件。 注意：禁止Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站，將使您的網(wǎng)站上的網(wǎng)頁(yè)，在百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無(wú)法被搜索到。關(guān)于 robots.txt的寫(xiě)作方法，請參看百度的 robots.txt寫(xiě)作方法
您可以根據各產(chǎn)品不同的user-agent設置不同的抓取規則，如果您想完全禁止百度所有的產(chǎn)品收錄，可以直接對Baiduspider設置禁止抓取。
以下robots實(shí)現禁止所有來(lái)自百度的抓?。?/strong>
User-agent: Baiduspider
Disallow: /
以下robots實(shí)現禁止所有來(lái)自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
皖公網(wǎng)安備 34010202600669
