防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">快科技今日(8月22日)<span style="color: black;">信息</span>,据<span style="color: black;">报告</span>,<span style="color: black;">近期</span>百度百科<span style="color: black;">起始</span>屏蔽谷歌和必应等大<span style="color: black;">都数</span>搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。 </p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="//q1.itc.cn/q_70/images03/20240822/3c1135cec5e64d0b970c9bf938082510.jpeg" style="width: 50%; margin-bottom: 20px;"></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">百度百科的robots.txt文件<span style="color: black;">表示</span>,<span style="color: black;">日前</span>仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等<span style="color: black;">少许</span>几个搜索引擎被<span style="color: black;">准许</span>抓取其内容。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被<span style="color: black;">知道</span>禁止抓取百度百科的内容。 </p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">虽然360搜索<span style="color: black;">无</span>在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,<span style="color: black;">因此</span>360搜索和其他搜索引擎<span style="color: black;">亦</span>都是被屏蔽的。 </p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">不过百度百科这种做法其实<span style="color: black;">亦</span>只是防君子不防小人,肯定还有<span style="color: black;">非常多</span>爬虫<span style="color: black;">经过</span><span style="color: black;">各样</span>方式继续抓取内容<span style="color: black;">而后</span>拿去训练AI。<a style="color: black;"><span style="color: black;">返回<span style="color: black;">外链论坛:www.fok120.com</span>,查看<span style="color: black;">更加多</span></span></a></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">责任编辑:网友投稿</span></p>
楼主节操掉了,还不快捡起来! 感谢楼主分享,祝愿外链论坛越办越好! “沙发”(SF,第一个回帖的人)
页:
[1]