天涯论坛

 找回密码
 立即注册
搜索
查看: 30|回复: 2

什么是“爬虫”?

[复制链接]

3058

主题

2万

回帖

9913万

积分

论坛元老

Rank: 8Rank: 8

积分
99139064
发表于 2024-8-25 17:32:38 | 显示全部楼层 |阅读模式

大众晓得,互联网是由于海浪形成的,由于人人都能够在里面冲浪。

非常多人不晓得的是,相比于浪花,互联网上最多的东西,其实是爬虫。

言下之意便是你的网线生虫了。

爬虫其实是一门计算机中的技术,它被广泛应用于搜索引擎。

平常的搜索引擎有百度、Google、Bing等。

搜索引擎的工作原理大致分为爬取信息、存储、创立索引、排序、检索等环节,其中第1周期便是运用专用程序收集网页数据,这个程序一般叫作为蜘蛛(Spider)或爬虫(Crawler)。

搜索引擎从已知的数据库出发,拜访这些网页并抓取文件。

搜索引擎经过这些爬虫从一个网站爬到另一个网站,跟踪网页中的链接,拜访更加多的网页,这个过程叫作为爬行,这些新的网址会被存入数据库等待搜索。

简而言之,爬虫便是经过不间断地拜访互联网,而后从中获取你指定的信息并返回给你。

咱们的互联网上,随时都有没有数的爬虫在爬取数据,并返回给运用者。

除了搜索引擎,爬虫还能够完成非常多别的事情。

2018年春运时期,12306网站拜访量的日峰值一度达到了1500亿,平均每一个中国人一天拜访了近100次12306网站。

可是你转念一想,就算是抢票,好似没见过谁一天上一百多次12306啊!

其实12306超高拜访量的幕后黑手,便是传说中的

当你在抢票APP上点击抢票软件过后,APP上就会表示抢票次数。

事实上,APP每抢一次票就等于是利用爬虫拜访了一次12306。

倘若有余票的话,它就直接帮你拍下。

倘若没有余票,那就过一会儿再来。

此时的爬虫就像一个死皮赖脸的油腻男,傍着12306这个如花似玉的小姑娘死活不撒手。

爬虫:美女,有票吗~~~?

12306:,滚!

几秒钟过后···

爬虫:美女,有票吗~~~?

12306:,滚!

几秒钟过后···

爬虫:美女,有票吗~~~?

12306:!!滚啊!!!

······

这般的搭讪,春运的时候一天要出现1500亿次。

12306:老娘真难。

正是这个原由,12306的服务器有着近乎恐怖的抗压能力。

每年双十一的时候,阿里巴巴都如临大敌,但淘宝双十一上亿的拜访量跟12306的1500亿比起来还是差了非常多

况且每年双十一就一天,春运却有整整一月

12306:老娘太难了!!

即便如此,每年双十一刚起始的时候,淘宝偶尔还是会显现卡顿、断网的现象。

事实上,针对绝大都数网站和APP来讲,能够同期保准上百万用户的无压力运用已然很不错了,上亿拜访量的状况基本上都不存在。

因此呢爬虫的爬取功能不仅能够获取数据,还能够做为一种攻击方式,让一个网站在短期拜访量激增,从而引起网站崩溃。

因此人们不得不制订了关联的法律法规,限制人们对爬虫的运用

咱们在登录网站时输入的各样各样的奇葩验证码,在某些方面是为了增多爬虫拜访网站的难度。

可是再严格的规范,防不住有些头铁的犯罪分子,以及···技术小白。

早在博主还在读书的时候,就已然听过无数的悲剧。

非常多小白刚学会编写爬虫,就兴致勃勃地丢到了网络上准备试一试水。

然而有些人在研发的时候却忘了给爬虫设定一个拜访频率,结果爬虫顿时化身加特林菩萨,以毫秒为单位疯狂拜访目的网站,对目的网站进行了一场理学超度。

最后结果除了目的网站崩溃,还有便是看守所里又多了一个秃头程序员。

许正是由于这些悲剧太多吧,博主的下一届学弟学妹们就多了一堂课——信息安全法律基本···

随着人工智能的发展,爬虫识别白百合和王珞丹的能力可能比人类还要强,各大网站的验证码因此呢越来越繁杂

但其实每一个技术诞生之初都是无罪的,无奈有些人拿着这些技术去做有些违法的勾当,使得技术本身再也不纯洁。

而对技术的污染,最后的恶果还是得由咱们自己吃下。

12306不得不耗费更加多的精力研发新技术来屏蔽抢票软件,并且自己研发出了候补购票的功能,来满足大众的抢票需要

各大网站的研发人员不得不耗费海量精力研发各样新奇的验证码,而用户不得不花费更加多的时间去解锁验证码。

而这种技术带来的便利和痛苦并存的状态,将始终伴同着人类文明···





上一篇:新做的网站怎么样快速被百度这般的搜索引擎收录
下一篇:什么是搜索引擎蜘蛛,什么是爬虫程序?有哪些类型
回复

使用道具 举报

3087

主题

2万

回帖

9909万

积分

论坛元老

Rank: 8Rank: 8

积分
99098778
发表于 2024-10-8 10:42:32 | 显示全部楼层
我赞同你的看法,你的智慧让人佩服,谢谢分享。
回复

使用道具 举报

3133

主题

2万

回帖

9996万

积分

论坛元老

Rank: 8Rank: 8

积分
99968644
发表于 2024-11-13 11:28:47 | 显示全部楼层
回顾历史,我们不难发现:无数先辈用鲜血和生命铺就了中华民族复兴的康庄大道。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-22 13:08 , Processed in 0.120903 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.