1. <rp id="rwr2e"><track id="rwr2e"></track></rp>

    1. <source id="rwr2e"><track id="rwr2e"><ins id="rwr2e"></ins></track></source>

        173-8640-8420

        網站建設 APP開發 小程序

        KNOWLEDGE/知識

        分享你我感悟

        您當前位置> 主頁 > 知識 > 網站建設

        開發者應該怎么解除封禁百度蜘蛛

        發表時間:2022-07-04 08:43:59

        文章作者:小編

        瀏覽次數:

        近期收到一些開發者反饋,為什么網站或智能小程序資源的內容非常優質,但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現?

        在技術分析后發現,有些網站或智能小程序存在封禁百度蜘蛛的情況,導致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現,或在搜索結果中的摘要展現為“存在robots封禁”字樣。

        為了讓廣大開發者的網站或小程序,在百度搜索中得到正常的收錄和展現,建議開發者及時根據以下內容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。

        常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。

        如何驗證網站和智能小程序是否存在封禁百度蜘蛛的情況?


        1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網站根目錄下。)

        【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。

        robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516

         

        2、robots文件無異常,進一步排查是否存在封禁百度UA情況;

        方案一:執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

        注:正常返回碼是200,其他情況為異常。

        xxxxxxx為網站域名,如:http://abc.com.cn。

        正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

         

        方案二:變更瀏覽器UA驗證;

        【建議方案】解除百度UA封禁:查看網站反爬蟲策略,進行策略調整?;蜥槍Π俣萓A添加策略白名單。

         

        3、以上驗證均無異常,最后進一步排查是否存在IP級別的封禁;

        常見的IP封禁,源自網站的防火墻系統配置,需要查看防火墻配置系統后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。

        【建議方案】解除百度IP封禁:查看網站反爬蟲策略,進行策略調整。

        相關案例查看更多

        在线不卡无码视频_一本大道无码在线_日韩人妻V无码肉视频_另类专区亚洲97在线视频

        1. <rp id="rwr2e"><track id="rwr2e"></track></rp>

          1. <source id="rwr2e"><track id="rwr2e"><ins id="rwr2e"></ins></track></source>