天涯论坛

 找回密码
 立即注册
搜索
查看: 32|回复: 2

引起百度蜘蛛抓取网站反常的平常原由总结

[复制链接]

3005

主题

182

回帖

9920万

积分

论坛元老

Rank: 8Rank: 8

积分
99209246
发表于 2024-8-25 17:59:28 | 显示全部楼层 |阅读模式

Baiduspider爬行反常平常原由是网站不稳定,Baiduspider在尝试连接到您网站的服务器时暂时没法连接,可能是您的网站IP位置错误,是百度蜘蛛被域名服务商封禁。

有些网站的内容用户能够正常拜访,但百度搜索百度的内容不可正常拜访引起海量的网站关键词搜索结果丢失,这种结果对网站和搜索引擎都是一种损失,百度搜索的网页不可正常的爬行叫作为“爬行反常” ,百度搜索会认为你的网站有用户体验上的爬行缺陷,减少你的网站得分,在网站的页面、索引、排序上会有消极影响,最后影响网站的流量。

下面介绍有些百度蜘蛛抓取反常平常原由:

1、服务器连接反常

服务器连接反常通常有两种状况通常是网站不稳定,百度搜索蜘蛛抓取你网站页面的时候显现没法抓取的状况,另一种是百度搜索蜘蛛不可正常连接你的网站服务器。

网站服务器不可正常连接的问题通常是网站服务器负载过大,有可能是你的网站程序问题,首要检测网站web服务器(IIS或apache)是不是运行正常,并检测网站主页是不是能够正常打开,还要需要检测网站和主机是不是阻止了百度搜索蜘蛛的拜访

2、网络运营商反常

网站服务器网络运营商分为电信和联通两种,倘若百度搜索蜘蛛没法经过电信或网通网络拜访你的网站,显现这种状况,就需要与网站服务器运营商沟通,重新购买双线网站服务器空间,能够购买网站CND服务。

3、DNS反常

显现百度搜索没法解析网站IP位置的时候,就会同现网门dns反常状况,这种问题可能是你的域名IP解析错误了,有可能是域名服务商把百度蜘蛛给屏蔽了,此时咱们能够运用whoishost查找自己的网站域名IP是不是解析正确了,倘若是域名IP解析错了,重新解析域名就行了,倘若没法解析,就需要联系域名注册商了。

4、IP封禁

IP封禁,限制了网站服务器出口的IP位置,禁止了某IP段的用户拜访网站内容,这儿重点指的是封禁了百度搜索蜘蛛的IP段,这种状况是你不期盼百度搜索蜘蛛拜访你的网站才需要封禁百度搜索蜘蛛的,倘若期盼百度搜索蜘蛛拜访你的网站,请需要添加百度搜索蜘蛛IP段,倘若封禁百度搜索蜘蛛IP段,有可能是网站空间服务商把百度搜索蜘蛛IP段给封禁了,这种问题就需要找网站空间服务商处理了。

5、UA封禁

UA即为用户代理(User-Agent),网站WEB服务器经过UA识别用户身份,网站针对指定UA拜访,返回反常状态码,例如403、500状态码,到其它页面,这种状况叫作之为UA封禁,这种状况是当你不期盼百度搜索蜘蛛拜访你网站的时候,才需要设置这个,倘若期盼百度搜索蜘蛛拜访你的网站,就需要检测网站服务器是不是被UA封禁了,倘若有就需要即时进行处理。

6、死链

页面已然没法打开,该页面已然没法对用户供给任何有价值的信息,这种页面就叫作之为死链接,死链接包含协议死链和内容死链两种形式:

1、协议死链,网站页面的TCP协议和HTTP协议状态知道暗示的死链,平常状态码有404、403、503;

2、内容死链,指的是web服务器状态码返回正常,但内容却已然不在了,已然被删除需要权限才能够拜访内容。

针对死链,咱们意见站长运用协议死链,并经过站长平台向搜索引擎提交死链接位置能够帮忙搜索引擎更快的发掘死链,减少死链对用户及搜索引擎导致消极影响。

7、反常

将用户网络拜访请求重新指向其它位置,即暗示反常通常指的是以下几种状况

1)当前页面为无效页面,内容已删除或已然作为了死链,直接到了前一级目录首页,百度搜索意见将死链接入口页面删除;

2)到出错或无效页面。

重视针对需要长期到其它域名的状况,例如新域名替换成新域名,百度搜索意见运用301永久重定向进行

8、其他反常

1)针对百度搜索refer的反常,网页针对来自百度的refer返回区别于正常内容的行业;

2)针对百度UA的反常,网页对百度UA返回区别于页面原内容的行径

3)JS反常:网页代码中加载了百度没法识别的js代码,引起用户经过搜索进行网站页面后就出现行径

4)网站抓取压力过大导致的偶然封禁,百度搜索会按照网站的规划、流量等状况,给网站设置一个恰当的抓取压力。

倘若网站抓取压力有反常状况,例如网站抓取压力显现失去控制状况此时web服务器会按照自己负荷能力起步临时性的封禁,例如向用户返回“Service Unavailable”,这儿百度搜索会过段时间再来重新抓取网站链接,倘若此时网站web服务器已恢复正常,则网站页面就会被成功抓取。

倘若接触过系统seo伴侣能够关注我,直接领取资料,参考我为大众准备的信息教程。能够来专门的SEO社区一块学习交流,在我的微X官方账号“爱学SEO”里学习最新的行业信息和最新技术,期盼一块成长交流。





上一篇:SEO蜘蛛爬虫是怎么样判断网站是不是优秀?
下一篇:壹起航:怎么样增加蜘蛛爬网站的频率?
回复

使用道具 举报

0

主题

1万

回帖

1

积分

新手上路

Rank: 1

积分
1
发表于 2024-9-10 06:26:17 | 显示全部楼层
i免费外链发布平台 http://www.fok120.com/
回复

使用道具 举报

3000

主题

3万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109182
发表于 2024-11-17 21:22:20 | 显示全部楼层
“BS”(鄙视的缩写)‌
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-25 12:02 , Processed in 0.108665 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.