论坛 › 天涯娱乐 › 网络爬虫的基本原理是什么？

9q13nh 发表于 2024-8-25 19:45:03

网络爬虫的基本原理是什么？

    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">经过前面Python<span style="color: black;">基本</span>内容的学习，相信好多小伙伴都感觉一身本事，<span style="color: black;">然则</span>无用武之地吧，哈哈哈。。。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">不要着急，如你们的愿，在爬虫<span style="color: black;">周期</span>，<span style="color: black;">咱们</span>就大胆的把<span style="color: black;">基本</span>部分的内容应用一下吧~~~</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">此时此刻，你准备好了吗？<span style="color: black;">咱们</span>要<span style="color: black;">起始</span>爬虫的学习之路喽！</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">初识爬虫</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">一. 爬虫简介</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">模拟浏览器，发送请求，获取响应</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">网络爬虫，英文名为Spider,又<span style="color: black;">叫作</span>为网页蜘蛛，网络<span style="color: black;">设备</span>人，在数据分析应用中，<span style="color: black;">更加多</span>的将爬虫<span style="color: black;">叫作</span>为数据采集程序，是一种<span style="color: black;">根据</span><span style="color: black;">必定</span>的规则，自动地抓取网络信息的程序<span style="color: black;">或</span>脚本。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫<span style="color: black;">亦</span>只能获取客户端(浏览器)所展示出来的数据</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">网络中的数据<span style="color: black;">能够</span><span style="color: black;">是由于</span>web服务器【Nginx/Apache】，数据库服务【MySQL/Redis/MongoDB】，索引库，大数据，视频/<span style="color: black;">照片</span>库，云存储【阿里云的OSS】等<span style="color: black;">供给</span>的，最<span style="color: black;">重点</span>的<span style="color: black;">源自</span>是Web服务器。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">不外</span>，<span style="color: black;">大众</span><span style="color: black;">必定</span>要<span style="color: black;">重视</span>哦，可爬取的数据必须是公开的，非盈利的，如：<span style="color: black;">倘若</span>侵入人家非公开的网络，人家会<span style="color: black;">经过</span>ip定位到你，属于违法<span style="color: black;">行径</span>的哦，再<span style="color: black;">或</span>，<span style="color: black;">有些</span>理财的网站，<span style="color: black;">倘若</span>爬取数据，肯定是不<span style="color: black;">能够</span>的，<span style="color: black;">倘若</span>小伙伴们不听话，非要去爬取，那任何人都是<span style="color: black;">守护</span>不了你的哦，狗头保命~~~</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">有名的爬虫案件：简历大数据<span style="color: black;">机构</span>“巧达科技”被一锅端、“车来了”涉嫌偷数据被警方立案等</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">二. 爬虫<span style="color: black;">归类</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">通用爬虫：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息决定着<span style="color: black;">全部</span>引擎系统的内容<span style="color: black;">是不是</span>丰富，信息<span style="color: black;">是不是</span>即时，<span style="color: black;">因此呢</span>其性能的优劣直接影响着搜索引擎的效果</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">大众</span>要<span style="color: black;">重视</span>哦，通用爬虫虽然简单，方便，<span style="color: black;">然则</span>缺点<span style="color: black;">亦</span>是显而易见的，宋宋给<span style="color: black;">大众</span>列举了几点，<span style="color: black;">大众</span><span style="color: black;">能够</span><span style="color: black;">认识</span>一下：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">a. 通用搜索引擎所返回的结果都是网页，而大多<span style="color: black;">状况</span>下，网页里90%的内容对用户<span style="color: black;">来讲</span>都是无用的。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">b. <span style="color: black;">区别</span><span style="color: black;">行业</span>、<span style="color: black;">区别</span>背景的用户<span style="color: black;">常常</span><span style="color: black;">拥有</span><span style="color: black;">区别</span>的检索目的和<span style="color: black;">需要</span>，搜索引擎<span style="color: black;">没法</span><span style="color: black;">供给</span>针对<span style="color: black;">详细</span>某个用户的搜索结果。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">c. 万维网数据形式的丰富和网络技术的<span style="color: black;">持续</span>发展，<span style="color: black;">照片</span>、数据库、音频、视频多<span style="color: black;">媒介</span>等<span style="color: black;">区别</span>数据<span style="color: black;">海量</span><span style="color: black;">显现</span>，通用搜索引擎对这些文件无能为力，<span style="color: black;">不可</span>很好地<span style="color: black;">发掘</span>和获取。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">d. 通用搜索引擎大多<span style="color: black;">供给</span>基于关键字的检索，难以支持<span style="color: black;">按照</span>语义信息提出的<span style="color: black;">查找</span>，<span style="color: black;">没法</span>准确理解用户的<span style="color: black;">详细</span><span style="color: black;">需要</span>。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">聚焦爬虫：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">聚焦爬虫，是"面向特定主题<span style="color: black;">需要</span>"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，<span style="color: black;">尽可能</span><span style="color: black;">保准</span>只抓取与<span style="color: black;">需要</span><span style="color: black;">关联</span>的网页信息，如12306抢票，或专门抓取某一个（某一类）网站数据。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1.<span style="color: black;">按照</span><span style="color: black;">是不是</span>以获取数据为目的，<span style="color: black;">能够</span>分为：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">功能性爬虫，给你<span style="color: black;">爱好</span>的明星投票、点赞</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">数据增量爬虫，<span style="color: black;">例如</span>招聘信息</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2.<span style="color: black;">按照</span>url<span style="color: black;">位置</span>和对应的页面内容<span style="color: black;">是不是</span>改变，数据增量爬虫<span style="color: black;">能够</span>分为：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">基于url<span style="color: black;">位置</span>变化、内容<span style="color: black;">亦</span>随之变化的数据增量爬虫</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">url<span style="color: black;">位置</span>不变、内容变化的数据增量爬虫</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">看到<span style="color: black;">这儿</span>，<span style="color: black;">大众</span>是不是<span style="color: black;">发掘</span>通用爬虫简单，<span style="color: black;">然则</span>不实用，聚焦爬虫应用比较广泛，<span style="color: black;">况且</span>实用，<span style="color: black;">然则</span>实现起来难度较大，<span style="color: black;">不外</span>没事的哈，有宋宋的<span style="color: black;">帮忙</span>，<span style="color: black;">咱们</span>都能学会的，奥利给！！！</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">三. 爬虫的<span style="color: black;">功效</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫在互联网世界中有<span style="color: black;">非常多</span>的<span style="color: black;">功效</span>，<span style="color: black;">例如</span>：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1. 数据采集，<span style="color: black;">例如</span>：</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">抓取<span style="color: black;">博客</span>评论(<span style="color: black;">设备</span>学习舆情监控)</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">抓取招聘网站的招聘信息(数据分析、挖掘)</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">外链</span>滚动<span style="color: black;">资讯</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">百度<span style="color: black;">资讯</span>网站</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2. 软件测试</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">爬虫之自动化测试</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">自动化测试所必需的selenium . selenium是一个用于Web应用程序测试的工具，selenium 测试直接运行在浏览器中，就像真正的用户在操作<span style="color: black;">同样</span>。支持的浏览器<span style="color: black;">包含</span>IE，chrome和Firefox等。其实<span style="color: black;">便是</span>借助于selenium做爬虫的事情。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">3. 抢票和投票</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">12306抢票</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">投票网</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">4. 网络安全</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">短信轰炸</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">web漏洞扫描</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">四. 技术<span style="color: black;">过程</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">第1</span>步：爬取数据，<span style="color: black;">实质</span>上<span style="color: black;">便是</span><span style="color: black;">按照</span>一个网址向服务器发起网络请求，获取到服务器返回的数据</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">第二步：解析数据，将服务器返回的数据转换为人容易理解的样式</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">第三步：筛选数据，从<span style="color: black;">海量</span>的数据中筛选出需要的数据</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">第四步：存储数据，将筛选出来的有用的数据存储起来，如：数据库，CSV文件，Excel文件，JSON文件等</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">只要小伙伴们<span style="color: black;">根据</span>这四个<span style="color: black;">过程</span>操作，实现一个爬虫任务还是很简单的。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">好了，<span style="color: black;">咱们</span>本节内容就到此结束啦，<span style="color: black;">经过</span>本节课的学习，<span style="color: black;">咱们</span>对爬虫有了大概的认识，并大概<span style="color: black;">认识</span>了爬虫<span style="color: black;">关联</span>的<span style="color: black;">有些</span><span style="color: black;">关联</span>技术，有了这些概念的加持，对<span style="color: black;">咱们</span>学习后面的内容会有很大的<span style="color: black;">帮忙</span>。</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">期待<span style="color: black;">大众</span>学习完爬虫的<span style="color: black;">所有</span>课程之后，能有一个不错的收获~~~，Good Luck！！！</p>

情迷布拉格 发表于 2024-9-10 02:55:53

祝福你、祝你幸福、早日实现等。

nqkk58 发表于 2024-10-1 18:50:36

一看到楼主的气势，我就觉得楼主同在社区里灌水。

7wu1wm0 发表于 2024-10-8 14:50:44

谢谢、感谢、感恩、辛苦了、有你真好等。

4lqedz 发表于 2024-10-10 17:08:49

回顾过去一年，是艰难的一年；展望未来，是辉煌的一年。

4zhvml8 发表于 2024-10-13 03:00:43

你的见解独到，让我受益匪浅，期待更多交流。

7wu1wm0 发表于 2024-10-22 23:05:03

系统提示我验证码错误1500次 ＼~゛，

m5k1umn 发表于 2024-11-11 21:12:43

外贸网站建设方法 http://www.fok120.com/

查看完整版本: 网络爬虫的基本原理是什么？