防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">快科技8月22日<span style="color: black;">信息</span>，据<span style="color: black;">报告</span>，<span style="color: black;"><strong style="color: blue;"><span style="color: black;">近期</span>百度百科<span style="color: black;">起始</span>屏蔽谷歌和必应等大<span style="color: black;">都数</span>搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。</strong></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">百度百科的robots.txt文件<span style="color: black;">表示</span>，<span style="color: black;">日前</span>仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等<span style="color: black;">少许</span>几个搜索引擎被<span style="color: black;">准许</span>抓取其内容。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;">谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被<span style="color: black;">知道</span>禁止抓取百度百科的内容。</strong></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">虽然360搜索<span style="color: black;">无</span>在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，<span style="color: black;">因此</span>360搜索和其他搜索引擎<span style="color: black;">亦</span>都是被屏蔽的。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">不外</span>百度百科这种做法其实<span style="color: black;">亦</span>只是防君子不防小人，肯定还有<span style="color: black;">非常多</span>爬虫<span style="color: black;">经过</span><span style="color: black;">各样</span>方式继续抓取内容<span style="color: black;">而后</span>拿去训练AI。</p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://q1.itc.cn/q_70/images03/20240822/3f255bea4164435fad9d6158231ed237.jpeg" style="width: 50%; margin-bottom: 20px;"><a style="color: black;"><span style="color: black;">返回<span style="color: black;">外链论坛：www.fok120.com</span>，查看<span style="color: black;">更加多</span></span></a></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">责任编辑：网友投稿</span></p>
回顾过去一年，是艰难的一年；展望未来，是辉煌的一年。 楼主发的这篇帖子，我觉得非常有道理。
页:
[1]