4zhvml8 发表于 2024-8-25 15:11:42

网络爬虫是什么


    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">网络爬虫又<span style="color: black;">叫作</span>网络蜘蛛、网络<span style="color: black;">设备</span>人，它是一种<span style="color: black;">根据</span><span style="color: black;">必定</span>的规则自动浏览、检索网页信息的程序<span style="color: black;">或</span>脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。<span style="color: black;">经过</span>对抓取的数据进行处理，从而提取出有价值的信息。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;">认识爬虫</h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">咱们</span>所<span style="color: black;">熟练</span>的一系列搜索引擎都是大型的网络爬虫，<span style="color: black;">例如</span>百度、搜狗、360浏览器、谷歌搜索等等。<span style="color: black;">每一个</span>搜索引擎都<span style="color: black;">持有</span>自己的爬虫程序，<span style="color: black;">例如</span>360浏览器的爬虫<span style="color: black;">叫作</span>作360Spider，搜狗的爬虫叫做Sogouspider。</p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/b1ea9456f67a4ed18a2dec5355115b54~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1725097673&amp;x-signature=KdprxmchTVB3mwUMAS5oMYeZE2Y%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">百度搜索引擎，其实<span style="color: black;">能够</span>更形象地<span style="color: black;">叫作</span>之为百度蜘蛛（Baiduspider），它<span style="color: black;">每日</span>会在海量的互联网信息中爬取<span style="color: black;">优秀</span>的信息，并进行收录。当用户<span style="color: black;">经过</span>百度检索关键词时，百度<span style="color: black;">首要</span>会对用户输入的关键词进行分析，<span style="color: black;">而后</span>从收录的网页中找出<span style="color: black;">关联</span>的网页，并<span style="color: black;">根据</span>排名规则对网页进行排序，最后将排序后的结果呈现给用户。在这个过程中百度蜘蛛起到了非常想关键的<span style="color: black;">功效</span>。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">百度的工程师们为“百度蜘蛛”编写了相应的爬虫算法，<span style="color: black;">经过</span>应用这些算法使得“百度蜘蛛”<span style="color: black;">能够</span>实现相应搜索策略，<span style="color: black;">例如</span>筛除重复网页、筛选<span style="color: black;">优秀</span>网页等等。应用<span style="color: black;">区别</span>的算法，爬虫的运行效率，以及爬取结果都会有所差异。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;">爬虫<span style="color: black;">归类</span></h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫可分为三大类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">通用网络爬虫：是搜索引擎的重要<span style="color: black;">构成</span>部分，上面<span style="color: black;">已然</span>进行了介绍，<span style="color: black;">这儿</span>就<span style="color: black;">再也不</span>赘述。通用网络爬虫需要遵守robots协议，网站<span style="color: black;">经过</span>此协议告诉搜索引擎<span style="color: black;">那些</span>页面<span style="color: black;">能够</span>抓取，<span style="color: black;">那些</span>页面不<span style="color: black;">准许</span>抓取。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">robots协议：是一种“约定俗<span style="color: black;">叫作</span>”的协议，并不具备法律效力，它<span style="color: black;">表现</span>了互联网人的“契约精神”。行业从业者会自觉遵守该协议，<span style="color: black;">因此呢</span>它又被<span style="color: black;">叫作</span>为“君子协议”。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">聚焦网络爬虫：是面向特定<span style="color: black;">需要</span>的一种网络爬虫程序。它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理，<span style="color: black;">尽可能</span><span style="color: black;">保准</span>只抓取与<span style="color: black;">需要</span><span style="color: black;">关联</span>的网页信息。聚焦网络爬虫<span style="color: black;">极重</span>地节省了硬件和网络资源，<span style="color: black;">因为</span><span style="color: black;">保留</span>的页面数量少<span style="color: black;">因此</span>更新速度<span style="color: black;">火速</span>，这<span style="color: black;">亦</span>很好地满足<span style="color: black;">有些</span>特定人群对特定<span style="color: black;">行业</span>信息的<span style="color: black;">需要</span>。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">增量式网络爬虫：<span style="color: black;">指的是</span>对已下载网页采取增量式更新，它是一种只爬取新产生的<span style="color: black;">或</span><span style="color: black;">已然</span><span style="color: black;">出现</span>变化网页的爬虫程序，能够在<span style="color: black;">必定</span>程度上<span style="color: black;">保准</span>所爬取的页面是最新的页面。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;">爬虫应用</h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">随着网络的<span style="color: black;">快速</span>发展，万维网<span style="color: black;">作为</span><span style="color: black;">海量</span>信息的载体，<span style="color: black;">怎样</span>有效地提取并利用这些信息<span style="color: black;">作为</span>一个巨大的挑战，<span style="color: black;">因此呢</span>爬虫应运而生，它不仅能够被<span style="color: black;">运用</span>在搜索引擎<span style="color: black;">行业</span>，<span style="color: black;">况且</span>在大数据分析，以及<span style="color: black;">商场</span><span style="color: black;">行业</span>都得到了大规模的应用。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1)数据分析</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">在数据分析<span style="color: black;">行业</span>，网络爬虫<span style="color: black;">一般</span>是搜集海量数据的<span style="color: black;">必须</span>工具。<span style="color: black;">针对</span>数据分析师而言，要进行数据分析，<span style="color: black;">首要</span>要有数据源，而学习爬虫，就<span style="color: black;">能够</span>获取<span style="color: black;">更加多</span>的数据源。在采集过程中，数据分析师<span style="color: black;">能够</span><span style="color: black;">根据</span>自己目的去采集更有价值的数据，而过滤掉<span style="color: black;">哪些</span>无效的数据。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2)<span style="color: black;">商场</span><span style="color: black;">行业</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">针对</span>企业而言，<span style="color: black;">即时</span>地获取市场动态、<span style="color: black;">制品</span>信息至关重要。企业<span style="color: black;">能够</span><span style="color: black;">经过</span>第三方平台购买数据，<span style="color: black;">例如</span>贵阳大数据交易所、数据堂等，当然<span style="color: black;">倘若</span>贵<span style="color: black;">机构</span>有一个爬虫工程师的话，就可<span style="color: black;">经过</span>爬虫的方式取得想要的信息。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;">爬虫是一把双刃剑</h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫是一把双刃剑，它给<span style="color: black;">咱们</span>带来便利的<span style="color: black;">同期</span>，<span style="color: black;">亦</span>给网络安全带来了隐患。有些<span style="color: black;">违法</span>分子利用爬虫在网络上<span style="color: black;">违法</span>搜集网民信息，<span style="color: black;">或</span>利用爬虫恶意攻击他人网站，从而<span style="color: black;">引起</span>网站瘫痪的严重后果。关于爬虫的<span style="color: black;">怎样</span>合法<span style="color: black;">运用</span>，<span style="color: black;">举荐</span>阅读《中华人民共和国网络安全法》。</p>
    <div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/pgc-image/09ff3bace92f4d179701dc4dd7c99185~noop.image?_iz=58558&amp;from=article.pc_detail&amp;lk3s=953192f4&amp;x-expires=1725097673&amp;x-signature=Vm0Pl1Mj7kqGbN4r7HsE2vJFpX0%3D" style="width: 50%; margin-bottom: 20px;"></div>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">为了限制爬虫带来的危险，大<span style="color: black;">都数</span>网站都有良好的反爬<span style="color: black;">办法</span>，并<span style="color: black;">经过</span>robots.txt协议做了进一步说明，下面是淘宝网robots.txt的内容：</p><span style="color: black;">User-agent</span>: Baiduspider
    <span style="color: black;">Disallow</span>: /baidu <span style="color: black;">Disallow</span>: /s?
    <span style="color: black;">Disallow</span>: /ulink?
    <span style="color: black;">Disallow</span>: /link?
    <span style="color: black;">Disallow</span>: /home/news/data/<span style="color: black;">Disallow</span>: /bh
    .....
    <span style="color: black;">User-agent</span>: *
    <span style="color: black;">Disallow</span>: /<span style="color: black;">123456789</span>复制代码类型：<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">从协议内容<span style="color: black;">能够</span>看出，淘宝网对<span style="color: black;">不可</span>被抓取的页面做了规定。<span style="color: black;">因此呢</span><span style="color: black;">大众</span>在<span style="color: black;">运用</span>爬虫的时候，要自觉遵守robots协议，不要<span style="color: black;">违法</span>获取他人信息，<span style="color: black;">或</span>做<span style="color: black;">有些</span><span style="color: black;">害处</span>他人网站的事情。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;"><span style="color: black;">为何</span>用Python做爬虫</h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">首要</span>您应该<span style="color: black;">知道</span>，不止Python这一种语言<span style="color: black;">能够</span>做爬虫，诸如PHP、Java、C/C++都<span style="color: black;">能够</span>用来写爬虫程序，<span style="color: black;">然则</span>相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">PHP：对多线程、异步支持不是很好，并发处理能力较弱；Java<span style="color: black;">亦</span>经常用来写爬虫程序，<span style="color: black;">然则</span>Java语言本身很笨重，代码量很大，<span style="color: black;">因此呢</span>它<span style="color: black;">针对</span>初学者而言，入门的门槛较高；C/C++运行效率虽然很高，<span style="color: black;">然则</span>学习和<span style="color: black;">研发</span>成本高。写一个小型的爬虫程序就可能花费很长的时间。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">而Python语言，其语法优美、代码简洁、<span style="color: black;">研发</span>效率高、支持多个爬虫模块，<span style="color: black;">例如</span>urllib、requests、Bs4等。Python的请求模块和解析模块丰富成熟，并且还<span style="color: black;">供给</span>了强大的Scrapy框架，让编写爬虫程序变得更为简单。<span style="color: black;">因此呢</span><span style="color: black;">运用</span>Python编写爬虫程序是个非常不错的<span style="color: black;">选取</span>。</p>
    <h1 style="color: black; text-align: left; margin-bottom: 10px;">编写爬虫的流程</h1>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫程序与其他程序<span style="color: black;">区别</span>，它的的思维<span style="color: black;">规律</span><span style="color: black;">通常</span>都是<span style="color: black;">类似</span>的，<span style="color: black;">因此</span>无需<span style="color: black;">咱们</span>在<span style="color: black;">规律</span>方面花费<span style="color: black;">海量</span>的时间。下面对Python编写爬虫程序的流程做简单地说明：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">先由urllib模块的request<span style="color: black;">办法</span>打开URL得到网页HTML对象。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">运用</span>浏览器打开网页源代码分析网页结构以及元素节点。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">经过</span>BeautifulSoup或则正则表达式提取数据。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">存储数据到本地磁盘或数据库。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">当然<span style="color: black;">亦</span>不局限于<span style="color: black;">以上</span>一种流程。编写爬虫程序，需要您具备较好的Python编程功底，<span style="color: black;">这般</span>在编写的过程中您才会得心应手。爬虫程序需要<span style="color: black;">尽可能</span>伪装成人<span style="color: black;">拜访</span>网站的样子，而非<span style="color: black;">设备</span><span style="color: black;">拜访</span>，否则就会被网站的反爬策略限制，<span style="color: black;">乃至</span>直接封杀IP，<span style="color: black;">关联</span>知识会在后续内容介绍。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><a style="color: black;">开课吧广场-人才学习交流平台</a></p>




wrjc1hod 发表于 2024-9-29 11:12:38

你的话语如春风拂面，温暖了我的心房，真的很感谢。

wrjc1hod 发表于 2024-10-19 19:54:13

真情实感，其含义为认真了、走心了的意思，是如今的饭圈常用语。

7wu1wm0 发表于 2024-10-31 06:58:46

我赞同你的看法，你的智慧让人佩服，谢谢分享。

j8typz 发表于 2024-11-12 04:57:15

我赞同你的看法，你的智慧让人佩服，谢谢分享。

m5k1umn 发表于 2024-11-13 10:19:39

期待你更多的精彩评论，一起交流学习。
页: [1]
查看完整版本: 网络爬虫是什么