天涯论坛

 找回密码
 立即注册
搜索
查看: 35|回复: 2

蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段

[复制链接]

2999

主题

220

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99099144
发表于 2024-8-25 17:03:28 | 显示全部楼层 |阅读模式

由于看到博文 “它(变异的百度蜘蛛)又来了,雪上加霜又加盐的三月”,百度搜索分部的人昨天对园子进行了线上回访,让咱们看到了一丝期盼

今天早上,带着这丝期盼咱们试着放出今年3月由于过于疯狂、爱好在别人地盘上飙车而被咱们屏蔽的百度蜘蛛网段——116.179.37.0/24,瞧瞧半年之后它是不是“疯”子回头,结果依旧是意料之中的疯狂依旧,“疯”性难移。

放开后,园子博客站点的 web 服务器 cpu 马上飙升,“飙”字货真价实,不带一点夸张,放开后的 cpu 是屏蔽时的三倍上下

放开后:

屏蔽时:

这次咱们专门记录了放开周期百度蜘蛛的请求量,取 9:00-9:04 的5分钟数据看一下,请求量是 277358(27万),QPS(每秒请求数)是 924(近一千)。

面对百度蜘蛛丝毫不减的疯狂,那一丝期盼瞬间一扫而光,抛开小插曲带来的失望,燃起咱们的新期盼

期盼百度的日子里,园子的发展更加阳光。

期盼百度的日子里,咱们能够发挥开源力量。

在被百度离开一年多的日子里,咱们产生了新的畅想——待园子发展壮大后,咱们会发起一个公益基金会,发起一个开源搜索引擎项目,最少研发供给一个疯狂蜘蛛、基于公平透明规则的搜索引擎。





上一篇:逆冬:3天恢复降权网站实战、曲线正在起飞
下一篇:博客园:被爬虫至宕机
回复

使用道具 举报

3126

主题

3万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99108615
发表于 2024-10-1 13:24:46 | 显示全部楼层
说得好啊!我在外链论坛打滚这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。
回复

使用道具 举报

2952

主题

3万

回帖

9997万

积分

论坛元老

Rank: 8Rank: 8

积分
99979405
发表于 2024-10-11 04:59:09 | 显示全部楼层
楼主的文章非常有意义,提升了我的知识水平。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-23 20:54 , Processed in 0.115019 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.