qzmjef 发表于 2024-8-25 16:21:36

只需两步，正确识别百度蜘蛛


    <div style="color: black; text-align: left; margin-bottom: 10px;">
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">经常听到站长们问，百度蜘蛛是什么？<span style="color: black;">近期</span>百度蜘蛛来的太频繁服务器抓爆了，<span style="color: black;">近期</span>百度蜘蛛都不来了怎么办，还有<span style="color: black;">非常多</span>站点想得到百度蜘蛛的IP段，想把IP加入白名单，但IP不固定，<span style="color: black;">咱们</span><span style="color: black;">没法</span>对外<span style="color: black;">颁布</span>。</p>
      <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/fb1fece59b3c4b52b28f2805bfb0872a~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1725099657&amp;x-signature=Y1KNLCyRb%2FRHe2KJNd%2B%2FRzSjJ28%3D" style="width: 50%; margin-bottom: 20px;"></div>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">那怎么<span style="color: black;">才可</span>识别正确的百度蜘蛛呢？来来来，只需两步，教你正确识别百度蜘蛛</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1、查看UA，<span style="color: black;">倘若</span>UA都不对，<span style="color: black;">能够</span>直接判断非百度搜索的蜘蛛，<span style="color: black;">日前</span>对外<span style="color: black;">颁布</span>过的UA是：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +</p>http://www.baidu.com/search/spider.html)

      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">新增渲染UA:</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">移动UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +</p>http://www.baidu.com/search/spider.html)

      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">PC UA：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2、反查IP</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">站长<span style="color: black;">能够</span><span style="color: black;">经过</span>DNS反查IP的方式判断某只spider<span style="color: black;">是不是</span>来自百度搜索引擎。<span style="color: black;">按照</span>平台<span style="color: black;">区别</span>验证<span style="color: black;">办法</span><span style="color: black;">区别</span>，如linux/windows/os三种平台下的验证<span style="color: black;">办法</span>分别如下：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1）、在linux平台下，您<span style="color: black;">能够</span><span style="color: black;">运用</span>host ip命令反解ip来判断<span style="color: black;">是不是</span>来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2)、在windows平台<span style="color: black;">或</span>IBM OS/2平台下，您<span style="color: black;">能够</span><span style="color: black;">运用</span>nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断<span style="color: black;">是不是</span>来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">3）、 在mac os平台下，您<span style="color: black;">能够</span><span style="color: black;">运用</span>dig 命令反解ip来 判断<span style="color: black;">是不是</span>来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断<span style="color: black;">是不是</span>来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。</p>
    </div>




听听海 发表于 2024-9-2 06:06:06

可以发布外链的网站 http://www.fok120.com/

nykek5i 发表于 2024-10-1 04:10:59

软文发布平台 http://www.fok120.com/

m5k1umn 发表于 2024-10-22 04:45:39

感谢你的精彩评论，为我的思绪打开了新的窗口。

nykek5i 发表于 2024-10-30 04:20:37

你的见解独到，让我受益匪浅，非常感谢。

nykek5i 发表于 2024-11-3 09:00:23

期待你更多的精彩评论，一起交流学习。
页: [1]
查看完整版本: 只需两步，正确识别百度蜘蛛