记者卧底大数据营销企业：揭秘APP抓取+爬虫的生意经

nqkk58

有大数据营销机构靠营销爬虫工具获利，电商平台商家数据遭爬取；还有机构叫作能够获取任意网页及APP访客的手机号；专家叫作其属于恶意爬取，涉嫌犯罪。

全文6331字，阅读约需12.5分钟 

▲“鹰眼智客”大数据营销系统的主页面。“不必须不必须，以后别再给我打tel了。”说完，代昌（化名）重重地将手机摔在了沙发上。代昌是河北邢台清河县一家民营企业的实质掌控人，近期几年来，他接到的骚扰tel数量显著增加。骚扰tel正作为大数据时代的“顽疾”。记者调查发掘，有些所说“大数据”机构数据源自可疑，乃至有些大数据机构并无数据。新京报记者经太多地暗访、卧底发掘，有大数据机构号叫作能够采集到任意指定网站或APP的访客手机号；另一家号叫作“中国互联网营销服务第1品牌”机构的“鹰眼智客”官网则表示：“有你所必须的一切”。7月底，新京报记者卧底“鹰眼智客”发掘，其实质上是利用爬虫技术，从淘宝、京东等网站上爬取到店家手机号后，用于营销。另外，借助该软件，经过微X周边的人，用户可任意设定虚拟位置后批量申请好友，还能“站街”钓鱼营销。有安全专家暗示，当用户出现上网行径时会发送数据包，内含行径痕迹、手机号等信息。一旦触及某一方出现泄密，经过抓取这个数据包便能够解析出来用户的敏锐信息。网络爬虫则分为合法爬虫和恶意爬虫两种。有些所说的大数据机构本身无数据源自，而是经过爬虫手段获取他人的数据。在网络空间，数据战争已进入白热化。2019年5月份，国家互联网信息办公室发布的《数据安全管理办法》征求意见稿第十五条亦规定了，“网络运营者以经营为目的收集重要数据或个人敏锐信息的，应向所在地网信分部备案。”另外，大都数网站早已对恶意爬虫构建反爬办法并作出声明严厉禁止，有律师直言，“突破、绕开第三方平台的反爬虫策略、协议时，或涉嫌违法获取计算机信息系统数据罪、供给侵入违法掌控计算机信息系统程序工具罪。”

━━━━━

卧底“最全”大数据机构

淘宝、京东等多家网站数据被爬取

▲郑州共赢科技机构，业务员正在忙碌“杀单”。新京报记者 李大伟 摄

记者发掘一家名为“鹰眼智客”的大数据机构号叫作“中国互联网营销服务第1品牌”。其官网宣叫作：“有你所必须的一切”。据官网介绍，“鹰眼智客”归属于郑州共赢科技有限机构。7月29日，新京报记者来到该机构面试地点——郑州市金水区金城国际广场A座，经过面试得到试岗资格，重点工作是推销一台包括“鹰眼智客大数据营销系统”的电脑。在约一百平方米的房间里，充斥着啪啪啪敲击键盘的声音。房间内的三十多名业务员一起组成为了共赢科技的“商务部”。据其官网表示，“鹰眼智客”系统涵盖QQ营销系列、微X营销系列、综合采集系列、论坛贴吧系列、邮件营销系列五大模块，持有218个小功能。另外，其还宣传叫作“已成功为2800多家企业供给互联网营销服务，覆盖120多个行业”。其中综合采集系列号叫作可精细采集目的客户信息，覆盖全网11大B2B平台，4大搜索引擎，7大地图，准确率达90%。记者试岗时期任务是熟练软件流程，并得到主管发的一份“终端客户聊天话术”。“终端客户聊天话术”表示，其数据源自于各大行业网站、各大平台以及各大地图等，“像阿里、百度、腾讯等等只要在网上公开留过痕迹的这些信息经过咱们的核心技术SPILDER多线程技术都能够给你采集到。”据极验制品总监程柏（化名）介绍，其核心技术实质上是网络爬虫技术。据其介绍，日前互联网流行的网络爬虫种类比较多，信息采集类的网络爬虫重点是脚本和模拟器类爬虫。记者发掘，“鹰眼智客精细营销系统”共包括数据采集系列、QQ营销系列、社群论坛营销、综合营销工具五个模块，覆盖了客户数据采集到营销的整条产业链。其中，数据采集系列模块包括地图行业采集、综合数据采集、阿里巴巴采集、慧聪网采集、单页名录综合采集、公众点评网采集、淘宝商家信息采集、中国制造网采集、团购外卖商家采集、阿里国际站采集、八方资源平台采集、京东商家采集十二个功能。记者测试发掘，该套软件操作非常简单，每一个功能还附有相应的教育视频来指点。7月30日，经过该软件，记者成功获取海量手机号。以淘宝商家信息采集为例，记者在该系统中的淘宝商家采集功能中输入关键词“服装”后，成功采集到北京地区淘宝卖家的82条信息，共耗时10分钟。在软件弹出框右下角还附有“导出tel铺”的按钮，采集得到的信息包含类型（店铺等级）、掌柜名叫作、地区、tel、店址等多个维度。

另外，记者还对该系统的京东商家采集、地图行业采集、阿里国际站采集等功能依次进行测试，均获成功。

━━━━━

周边的人有多近？软件任意定位，还可“站街”钓鱼营销

“你得放开了玩，大声喊出来！”在记者第1天早上上班之前，分部经理将业务员分成两支队伍，轮番结对玩一种“美女与野兽”的游戏。据该机构的工作人员介绍，玩这种游戏是为了调动业务员的积极性，培养团队荣誉感。记者发掘“鹰眼智客”自带教育视频，经过该视频，记者试岗时期对工具中微X营销的八个功能逐个进行测试。以该模块中的微X定位营销功能为例，用户运用该功能需用手机模拟器登录微X。根据添加模式区别，该软件分为添加周边的人、添加指定QQ、摇一摇、添加群成员四种。记者调查发掘，点击微X定位营销“获取经纬度坐标”，会弹出一个页面。假如在该弹出页面输入国贸位置后，用户可将坐标定位到国贸，并看到国贸地区“周边的人”。利用该软件用户能够同期添加多个虚假位置，亦支持多个微X号同期操作。该套软件还有必定的反封号机制。视频教程表示，在参数设置中，用户能够自己选取好友验证的次数、间隔时间以及每一个位置发送验证申请的个数。“刚才运用的话少添加有些，例如说添加五六个，逐步增多，最多的话添加十个以内，有一段时间间隔之后再次添加。”设置好位置及参数设定后，用户可在软件中“验证信息”下面的空白操作区域对验证信息进行编辑。“例如说，他是做生意的，你能够将验证信息编辑为‘你好，我想看下你制品’，这般的话（验证申请）经过率会更高有些。”值得一提的是，该软件还有一项名为“站街”的功能。所说“站街”，即“倘若说不想主动添加好友，只想让周边的人看到并添加你，就能够运用站街功能。”在位置一栏的弹出对话框中，用户只需点击“模拟器利用此位置站街”就可“站街”。极验制品总监程柏（化名）认为，“鹰眼智客”部分功能属于黑色产业链。“这类群发功能有些是违背用户意愿的，纯粹的牟利行径，像我有时候亦会收到这类垃圾信息，多以营销为主，然则这类营销非常多源自并不靠谱，可能会有其他黑色产业链和恶意引导。”新京报记者从“鹰眼智客”工作人员处认识到，机构为了方便客户营销，还供给外呼设备人（AItel）的服务，只必须将采集到的tel号码导入就可。此前，新京报曾对外呼设备人进行揭发。所说外呼设备人，实质上是一条tel设备人系统，一天客户呼出1000通tel。随后，央视3·15晚会亦对外呼设备人进行揭发，违法分子和违法科技机构经过探针盒子搜集用户隐私、大数据供给支持、智能设备人供给外呼。

━━━━━

大数据怎样“精细营销”抓取指定任意网站或APP的访客手机号

新京报记者经过搜索关键词“大数据精细营销”，重视到一家名为娱加科技的大数据精细营销机构。

企查查表示，该机构全叫作为苏州娱加互娱网络科技有限机构，法定表率人为吴辉。该机构成立于2018年4月19日，注册资本200万元人民币，所属行业为软件和信息技术服务业。8月19日下午，新京报记者以保健品和网贷营销的身份与吴辉取得联系。对某些行业数据，吴辉显出谨小慎微。“保健品暂时不行，保健品日前查得比较严，属于高危敏锐行业。”吴辉告诉新京报记者说。据其介绍，该机构的获客系统非常精细。“你能够指定任意网站或APP，只必须供给网站链接或APP的名叫作及下载链接，咱们就能够抓取到访客的手机号码。”吴辉说。不外，其所供给的访客的手机号码只表示真实的前三位以及后四位，因此只能经过她们供给的系统去进行营销。“咱们会供给一个外呼系统，能够将这些手机号供给到外呼系统里面去和客户沟通。”吴辉介绍。获取的中间四位被隐匿的手机号亦被其叫作为“脱敏数据”。另外，访客获取到的手机号亦存在必定限制。“此刻运营商重点做的是联通和电信的，移动的停掉了。”吴辉说。至于为么停掉移动的，对方给出的答案则是由于“移动用户太庞大了”。除了运营商，吴辉还暗示，倘若用户是经过WiFi或电脑来拜访的，亦没法抓取到手机号。“它（该系统）是经过流量来拜访的，电脑端和无线网是抓取不了的，必要经过手机通信网络。”为了加强说服力，吴辉意见记者“能够先花五百测试一下”。据其介绍，运用套餐为1000条起测，“咱们能够签一个花费套餐，开一个坐席，你自己去测试一下转化率是多少。”吴辉供给给记者一份机构介绍。介绍文件对娱加科技获客系统与普通网页手机号抓取软件做了对比，对比图表示，网页手机访客抓取软件犯法，而娱加科技获客系统则为“联合联通电信运营商正式推出的制品，合法合规，稳定安全”。8月19日，该机构倚为背书的联通和电信的客服分别对这事进行否认，叫作“并未供给过这种服务”。在介绍文件中，该机构供给给某整形美容医院的服务亦被做成为了一份案例。案例表示，该整形医院以整形医院哪家好、玻尿酸垫下巴、昆明隆鼻、整形医院、美容医院等225个关键词，提交了本地同行等23个推广网址、31个同行座机咨询tel以及两款医美类APP，需求目的客户为来自上海、年龄在16至50岁之间的女性客户。该机构文件表示，在2019年3月，每日推送100条上下的数据，共推送3053条。其中接通1872个，意向客户873个，转化客户372个。接通率为61.31%，意向率为28.59%，转化率为12.18%，获客成本仅有百度竞价推广的六分之一。安全科研员Jane介绍，当用户出现上网行径时，首要向运营商发送一个数据包。该数据包经过运营商之后再传给服务商。数据包中包括有用户的上网痕迹、手机号等信息。“当其中某一方出现信息泄密时，违法分子能够利用这个数据包解析出来用户的敏锐信息。”Jane告诉新京报记者。

━━━━━

充满技巧的“杀单”话术有业务员日赚近5000元

“机构日前有两种计酬方式，一种是有底薪制，底薪为1500，营销一件制品提作为10%；另一种为无底薪制，底薪为0，营销一件制品提作为25%。”共赢科技负责面试的李梦海（化名）告诉新京报记者，“一般人都会选取无底薪高提成的，赚得多。”一台包括“鹰眼智客大数据营销系统”的电脑，定价为8800元。根据定价以及提成来推算，每营销一台，业务员能够得到2200元。据李梦海介绍，共赢科技有限机构在郑州总部共有5个小队。记者被分配到“尖刀队”。“恭喜尖刀队甜甜出单！”7月31日下午3点50分，坐在记者右侧的甜甜忽然喊道。当业务员出单时，便会自己喊出“恭喜××队××出单！”，此刻所有人便会停下案头工做为其鼓掌。“这是一种奖励机制。”一名工作人员向新京报记者介绍说。甜甜是一名新人。1992年出生的她，几个月前来到这个机构转行作为一名营销。因刚入行不久，有些“杀单”的话术她并不熟悉，当客户表现得意向较强时，较为资深的业务员便会聚拢过来进行指点。据其描述，她平均每月能够成交四五单。在郑州来讲，收入非常可观。所说“杀单”，则是营销之间平常的行话，意为和客户成交。甜甜出单后不久，坐在记者斜对面的“马总”（昵叫作）亦出了一单。“这已然是他今天出的第二单。根据每单提成25%的利润来计算的话，算上奖金，他已然赚了快5000块钱了。”甜甜说。这种场景在记者试岗时期频繁显现。在尖刀队主管杨小峰（化名）发送给记者的一份“终端客户聊天话术”文档中，仔细地记载了有些“杀单”技巧以及问答实录。记者发掘，当新人有客户意向较为剧烈时，经理和团队主管便会聚拢上来出谋划策，科研怎样让顾客上钩。据甜甜透露，她“杀”的客户是一位“做保健品的”。8月18日，记者联系到甜甜这位客户张娜（化名）。据其介绍，在运用“鹰眼智客”系统仅仅两天后，她运用数年的微X号即遭到封禁。张娜说她再亦不敢用了。

━━━━━

合法爬虫or恶意爬虫恶意爬虫涉违法获取计算机信息系统数据罪

“这肯定是合规的，由于咱们不直接参与贩卖数据。”该机构负责人事的李梦海告诉新京报记者说，“倘若卖爬取到的数据就违法了。”该机构的业务员王伟（化名）则给出了区别的答案。王伟向新京报记者直言了自己的担忧。“外呼设备人是违规的，之前曾经被揭发过。”王伟说。爬虫技术是为了互联网本身信息传播而产生的。经过网络爬虫，搜索引擎获悉互联网的内容。在网络安全行业，亦有经过爬虫来检测网站漏洞和网站可用性。“爬虫技术的本质用途仍然存在，像百度、谷歌之类的机构，然则互联网上面的其他黑产眼里仅有利益，她们经过网络爬虫做二次数据封装和用户引流，经过数据贩卖和流量牵引牟利。从用户视角来讲，害处重点有恶意营销、网络攻击（网络钓鱼）；从网站方向来讲，害处包含网络攻击、薅羊毛、影响正常的企业服务、信息价值流失、用户流失。”程柏说。中消协此前发布的《APP个人信息泄密状况调查报告》表示，约86.5%的受访者曾受到推销tel或短信的骚扰，约75.0%的受访者接到诈骗tel，约63.4%的受访者收到垃圾邮件，排名位居前三位。针对此类爬虫软件，都数网站早已声明严厉禁止。北京炜衡律师事务所周浩律师认为，“网络爬虫爬取数据必须遵守第三方平台的Robots协议以及获取数据的性质拥有公开性，不得包括个人信息数据、商场奥密及国家奥密等信息数据。倘若突破、绕开第三方平台的反爬虫策略、协议时，或涉嫌违法获取计算机信息系统数据罪、供给侵入违法掌控计算机信息系统程序工具罪。”Robots协议亦叫作为爬虫协议、设备人协议等，其全叫作为“网络爬虫排除标准（RobotsExclusionProtocol）”。“网站经过Robots协议告诉搜索引擎那些页面能够抓取，那些页面不可抓取。针对搜索引擎来讲是行业通用的爬取约定协议，但对恶意爬虫来讲并无任何约束力。”晓得创宇技术总监邓金城告诉新京报记者说。据腾讯发布的《2018上半年安全专题系列科研报告》（以下简叫作报告）表示，恶意爬虫经过分析并自动构造参数对非公开接口进行数据爬取或提交，获取对方本不愿意被海量获取的数据。报告指出，据统计，出行、社交、电商占恶意爬虫流量目的行业分布前三位，占比分别为20.87%、18.40%、13.38%。周浩暗示，《网络安全法》《个人信息安全规范》都强调了，通信联系方式（tel号码）是重要的个人信息，非经同意不得收集。供给用来收集个人信息的工具，一旦被运用必然存在违规。

━━━━━

技术发展倒逼法律完善收集重要数据或个人敏锐数据需备案

溯其本源，便是逐利。“有些所说的大数据机构本身无数据源自，而是经过爬虫手段获取他人的数据。”程柏说。反爬斗争已悄然进入白热化。不外，“反爬”绝非易事。晓得创宇404实验室副总监隋刚介绍，规模很强的机构都会有自己的反爬机制，但“有些爬虫能够绕过这些反爬机制”。技术的持续发展在倒逼关联法律趋于完善。2019年5月份，国家互联网信息办公室发布了《数据安全管理办法》征求意见稿（以下简叫作“征求意见稿”）对爬虫技术有明确的定义和规定。其中第十六条规定，网络运营者采取自动化手段拜访收集网站数据，不得妨碍网站正常运行；如自动化拜访收集流量超过网站日均流量三分之一，网站需求停止自动化拜访收集时，应当停止。“不外，第十六条在实践操作中可能存在必定问题，对导致网络不可正常运行亦未有相应的处罚办法，这可能是将来必须完善的地区。”曾多次参与制定企业隐私政策的京师上海国际总部专职律师徐延轩说。同期征求意见稿第十五条亦规定了，“网络运营者以经营为目的收集重要数据或个人敏锐信息的，应向所在地网信分部备案。”徐延轩认为，收集重要数据备案制度可能是将来监管的方向。

新京报记者 李大伟 罗也丹 实习生 徐子林 编辑 徐超 校对 刘越

值班编辑 花木南

Coach亦道歉了

香港今天大集会，有七大诉求(附视频)

双重国籍亿万富翁怎么当上人大表率的？

本文未经新京报书面授权不得转载运用

欢迎伴侣圈分享

nykek5i

你的见解独到，让我受益匪浅，非常感谢。

7wu1wm0

期待与你深入交流，共探知识的无穷魅力。