天涯论坛

 找回密码
 立即注册
搜索
查看: 50|回复: 6

SEO优化:搜索引擎蜘蛛抓取反常,原来是这个原由!

[复制链接]

2996

主题

220

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99099156
发表于 2024-8-25 16:29:29 | 显示全部楼层 |阅读模式

有些网页内容优秀,用户能够正常拜访然则搜索引擎蜘蛛没法正常拜访并抓取,导致搜索结果覆盖率缺失,对搜索引擎对站点都是一种损失,百度把这种状况叫“抓取反常”。针对海量内容没法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评估,在抓取、索引、排序上都会受到必定程度的消极影响,最后影响到网站从百度获取的流量。

服务器连接反常

  服务器连接反常会有两种状况:一种是站点不稳定,搜索引擎蜘蛛尝试连接您网站的服务器时显现暂时没法连接的状况;一种是搜索引擎蜘蛛始终没法连接上您网站的服务器。

导致服务器连接反常原由一般是您的网站服务器过大,超负荷运转。有可能是您的网站运行不正常,请检测网站的web服务器(如apache、iis)是不是安装且正常运行,并运用浏览器检测重点页面能否正常拜访。您的网站和主机还可能阻止了搜索引擎蜘蛛的拜访,您需要检测网站和主机的防火墙。

网络运营商反常

网络运营商分电信和联通两种,搜索引擎蜘蛛经过电信或网通没法拜访您的网站。倘若显现这种状况,您需要与网络服务运营商进行联系,购买持有双线服务的空间购买cdn服务。

DNS反常

当搜索引擎蜘蛛没法解析您网站的IP时,会显现DNS反常。可能是您的网站IP位置错误,域名服务商把搜索引擎蜘蛛封禁。请运用WHOIShost查找自己网站IP位置是不是正确且可解析,倘若不正确或没法解析,请与域名注册商联系,更新您的IP位置

IP封禁

IP封禁为:限制网络的出口IP位置,禁止该IP段的运用者进行内容拜访,在这儿特指封禁了搜索引擎蜘蛛IP。当您的网站不期盼搜索引擎蜘蛛拜访时,才需要该设置,倘若期盼搜索引擎蜘蛛拜访您的网站,请检测关联设置中是不是误添加了搜索引擎蜘蛛IP。有可能是您网站所在的空间服务商把百度IP进行了封禁,此时您需要联系服务商更改设置。

UA封禁

UA即为用户代理(User-Agent),服务器经过UA识别拜访者的身份。当网站针对指定UA的拜访,返回反常页面(如403,500)或到其他页面的状况,即为UA封禁。当您的网站不期盼搜索引擎蜘蛛拜访时,才需要该设置,倘若期盼搜索引擎蜘蛛拜访您的网站,useragent关联的设置中是不是有搜索引擎蜘蛛 UA,并即时修改。

死链

页面已然无效,没法对用户供给任何有价值信息的页面便是死链接,包含协议死链和内容死链两种形式。

协议死链

页面的TCP协议状态/HTTP协议状态知道暗示的死链,平常的如404、403、503状态等。

内容死链:服务器返回状态是正常的,但内容已然变更为不存在、已删除或需要权限等与原内容无关的信息页面。

  针对死链,咱们意见站点运用协议死链,并经过百度站长平台--死链工具向百度提交,以便百度更快地发掘死链,减少死链对用户以及搜索引擎导致消极影响。

反常

将网络请求重新指向其他位置即为反常指的是以下几种状况

1)当前该页面为无效页面(内容已删除、死链等),直接到前一目录首页,百度意见站长将该无效页面的入口超链接删除掉

  2)到出错无效页面

  重视针对长期到其他域名的状况,如网站更换域名,百度意见运用301协议进行设置。

其他反常

1)针对百度refer的反常:网页针对来自百度的refer返回区别于正常内容的行径

  2)针对百度ua的反常:网页对百度UA返回区别于页面原内容的行径

  3)JS反常:网页加载了百度没法识别的JS代码,使得用户经过搜索结果进入页面后出现状况

4)压力过大导致的偶然封禁:百度会按照站点的规模、拜访量等信息,自动设定一个恰当的抓取压力。然则反常状况下,如压力掌控失常时,服务器会按照自己负荷进行守护性的偶然封禁。这种状况下,请在返回码中返回503(其含义是“Service Unavailable”),这般搜索引擎蜘蛛会过段时间再来尝试抓取这个链接,倘若网站已空闲,则会被成功抓取。

文案源自于卢松松博客,版权归原作者所有,如触及版权问题请即时联系我方处理

开课通告

今日课题:网站seo排名新手平常误区操作

      授课老师:阿君(SEO商场思维策划师)

      上课时间:2016年12月17日 20:30分

刚才接触SEO的小白童鞋针对排名优化和网络推广非常迷茫,那样今天阿君老师会经过 菜鸟入门,到快速流量排名,分过程来讲解。处理你的收录排名困难帮忙你快速获取流量。YY6359 20:30分,请大众提前进教室!

开通学习权限

联系QQ:2823703501   

 微X:xiamo-jiejie 

添加时请注明源自微X平台

长按二维码

 订 阅 SEO科研中心

                                      一块分享SEO的乐趣

  ▼

-THE END -





上一篇:网络爬虫是什么?可行还是可刑?
下一篇:怎么样将死蜘蛛改造为可怕的爪型抓取器
回复

使用道具 举报

0

主题

1万

回帖

1

积分

新手上路

Rank: 1

积分
1
发表于 2024-9-1 06:04:23 | 显示全部楼层
我完全同意你的看法,期待我们能深入探讨这个问题。
回复

使用道具 举报

2986

主题

3万

回帖

9956万

积分

论坛元老

Rank: 8Rank: 8

积分
99569168
发表于 2024-10-10 22:44:21 | 显示全部楼层
谷歌外链发布 http://www.fok120.com/
回复

使用道具 举报

3048

主题

3万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99109040
发表于 2024-10-26 04:32:03 | 显示全部楼层
期待与你深入交流,共探知识的无穷魅力。
回复

使用道具 举报

3061

主题

3万

回帖

9913万

积分

论坛元老

Rank: 8Rank: 8

积分
99139052
发表于 2024-10-30 00:35:03 | 显示全部楼层
论坛外链网  http://www.fok120.com/
回复

使用道具 举报

3089

主题

3万

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99098770
发表于 2024-11-5 23:16:58 | 显示全部楼层
我深受你的启发,你的话语是我前进的动力。
回复

使用道具 举报

3138

主题

3万

回帖

9996万

积分

论坛元老

Rank: 8Rank: 8

积分
99968624
发表于 4 小时前 | 显示全部楼层
这篇文章真的让我受益匪浅,外链发布感谢分享!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-23 10:10 , Processed in 0.116456 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.