“AI原生”骗局江湖：真的真视频、假的真视频、真的假视频、假的假视频-天涯论坛

6257rv7 发表于 2024-6-23 23:53:38

“AI原生”骗局江湖：真的真视频、假的真视频、真的假视频、假的假视频

<img src="//q1.itc.cn/q_70/images03/20240309/9ba228a891204a98ae9eddb2be065905.jpeg" style="width: 50%; margin-bottom: 20px;">
照片源自@视觉中国

文 | 甲子光年科技产业智库，作者｜刘杨楠‍‍，编辑｜王博

“Sora的显现超乎所有人的预期，咱们在2021年制定的部分防御策略，今天可能已然不适用了。”
瑞莱智慧RealAI联合创始人&算法专家萧子豪告诉「甲子光年」。
虽然Sora还未对普通用户公开测试，然则Sora生成视频的逼真效果，不得不让人“未雨绸缪”。
试想一下，倘若骗子利用Sora生成一个人被救治或被绑架的视频，再用“AI换脸”技术换成目的当事人亲友的形象，同期利用特殊办法切断当事人与亲友之间的联系，从而实施诈骗。倘若在无各方安全防护办法的状况下，是有可能成功的。
即使无诈骗，虚假资讯、流言亦会对社会产生不良影响。
“人工智能进入爆发式发展的重要周期。咱们主张发展与安全并重，既要拥抱新事物新机遇，亦要装好刹车再上路，一起推进人工智能全世界治理。”3月7日，中共中央政治局委员、外交部长王毅在回答记者相关人工智能的提问时知道表态。
据不完全统计，在今年的全国两会上，已有20多位表率、委员围绕“人工智能”提出了关联意见。其中，“安全”与“合规”是她们关注的焦点。
早在ChatGPT显现之初，「甲子光年」就曾在《第1批因ChatGPT坐牢的人，已然上路了》一文中写道：“在ChatGPT技术前景、商场模式都还方兴未艾的时刻，围绕自己的‘犯罪方法’以及所导致的消极影响却已真实出现。由新技术衍生的网络信息安全以及违法犯罪等方面的危害，成为了摆在全世界AI专家、公司以及国家面前的严肃问题。”
一年后，Sora的显现，让新的安全问题出此刻了人们面前，而显现数年的“AI换脸”技术亦在持续迭代升级。
没论是近期香港警方披露的涉案金额高达2亿港元的“AI换脸”诈骗案，还是前段时间梅西澄清视频被质疑“AI换脸”风波，都让更加多人认识到“眼见不必定为实”，AI带来的争议和危害其实就在人们身边。
“安全问题就像气候问题同样，倘若大众此刻只看重发展，不注意安全问题，始终拖延下去，等到很严重的时候再行动可能就太迟了。”萧子豪说。
震撼、好奇与恐慌心情交织，面对生成式AI模型带来的全新挑战，监管方、AI安全厂商乃至置身其中的每一个人又该怎样应对？
隐秘的角落
生成式AI模型是Deepfakes（深度伪造）的技术基本，而以“AI换脸”为表率的人脸伪造技术是Deepfakes的一个要紧分支。
2019年，两位艺术家和一家宣传机构制作了Facebook创始人马克·扎克伯格 (Mark Zuckerberg) 的Deepfakes视频，并将其上传到Instagram。
这段视频由艺术家Bill Posters和Daniel Howe与宣传机构Canny合作制作，视频中马克·扎克伯格坐在办公桌前，似乎在发布相关Facebook权力的演讲。
“想象一下：一个人完全掌控了数十亿人被盗的数据、她们所有的奥密、她们的生活、她们的将来，”AI版“扎克伯格”在视频中说，“谁掌控了数据，谁就掌控了将来。”
原始的真实视频来自扎克伯格2017年9月在Facebook上发布的一次演讲。Instagram的帖子叫作其是运用CannyAI的视频对话替换 (VDR) 技术创建的。
能够看到，AI版“扎克伯格”已然非常逼真，全部画面像是一个真实的资讯片段，词条写着“咱们正在加强广告的透明度”。
这件事导致了Facebook以及舆论的剧烈反对。此后，Deepfakes技术快速生长迭代为一种新型骗局。在毕马威颁布的报告中，80%的领导者相信Deepfakes对其业务形成危害，但仅有29%的人暗示她们已采取办法打击这些危害。
随着生成式AI模型的发展，以Deepfakes为表率的安全问题亦愈发难以被检测。
开源生态繁荣的背面，亦让生成式AI更易被乱用。开源模型的开源协议必定程度上牺牲了研发者对模型的掌控。为了满足开源许可需求，其他人必须能够科研、运用、修改和共享人工智能系统。“修改”，则寓意着其他人能够删除人工智能模型的原始创建者添加的任何守护办法。 
这些新生的AI安全隐患亦直指人性的幽暗之处——情色、暴力、金钱诈骗与权力争斗。
互联网观察基金会 (IWF) 发掘，犯罪分子正在用开源人工智能来创建儿童性虐待材料 (CSAM)。按照IWF报告，短短一月内，她们在一个暗网论坛上记录了20000张人工智能生成的图像。令人毛骨悚然的是，IWF指出，罪犯社区经常讨论Stable Diffusion模型。
据《纽约时报》报告，虽然尚未证明这些图像是怎样制作的，但网络安全机构Reality Defender认为有90%的可能确认这些图像出自Diffusion模型。
近期，新泽西州一所高中的学生制作了一个能够从女子照片中制作露骨图像的网，女朋友报告说，她们是人工智能生成的裸照在学生中分发的受害者。而据哥伦比亚广播机构（CBS）资讯报告，这只是高中出现的许多类似事件的一个例子。流行歌手泰勒·斯威夫特 (Taylor Swift) 此前亦深受其害。
生成式AI亦正在“重塑”诈骗产业链。
近期，香港警方披露了一块多人“AI换脸”诈骗案，涉案金额高达2亿港元。据央视资讯报告，一家跨境机构香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，并根据需求先后转账多次，将2亿港元分别转账15次，转到5个本地银行账户内。之后，其向总部查找才晓得受骗。警方调查得知，这起案件中所说的视频会议中仅有受害人一个人是“真人”，其他“参会人员”都是经过“AI换脸”后的诈骗人员。
类似的案件此前亦有发生，2023年4月20日，内蒙古包头市出现了一块金额高达430万元的诈骗案件，亦与“AI换脸”相关。
另外，政治宣传和误导亦是深度造假带来害处的行业。据美联社报告，今年1月，有人用AI模仿美国总统拜登的声音，给新罕布什尔州的选民打tel干扰选举。
生成式AI虽然正以前所未有的速度重塑工业、研究及平常生活的方方面面，但由此带来的安全隐患亦正在持续下探至更隐秘的角落。
不外，魔高一尺，道高一丈。针对这些隐患的应对办法亦在加速完善。
魔高一尺，道高一丈
做为全世界人工智能行业的风向标，OpenAI的一举一动都被放在显微镜下审视。安全，是OpenAI必要要完成的课题。
2023年9月，OpenAI推出“Red Teaming Network（红队网络）”。
<img src="//q1.itc.cn/q_70/images03/20240309/fabc212f4dfb40bdaa10453b64afc271.jpeg" style="width: 50%; margin-bottom: 20px;">
照片源自：OpenAI官网
这是一个签约专家组，旨在帮忙为机构的人工智能模型供给危害评定信息。日前，红队能够捉捕（尽管不必定修复）OpenAI的DALL-E 2等模型中的种族或性别偏见内容。
另外，OpenAI打算将识别元数据纳入任何面向公众的制品的将来版本中；现有的防御办法将拒绝违反机构运用政策的prompt，包含描述极端暴力、性内容和名人肖像。
同期，OpenAI和Meta等机构正在科研帮忙识别人工智能制作内容的办法。例如，在创建人工智能制作内容时加上独特的“水印”，或在分发时引入检测人工智能图像特征的算法。
然而，虽然关联工作已然取得了有些成果，但开源仍可能是一道顽固的裂痕，有些利用开源模型的犯罪分子不会协同运用这些功能；分发后检测人工智能生成的图像亦只能在必定程度的置信度下完成，日前还会产生太多的误报或漏报。
除了公司运用技术手段“以牙还牙”之外，政府监管力度亦在大幅收紧。
美国时间2023年7月21日，拜登于在白宫召集了七家发展人工智能技术的头部机构——亚马逊、Anthropic、谷歌、Inflection AI、Meta、微软和OpenAI，并得到了七家人工智能头部公司的自愿性承诺，保证人工智能技术的安全性、有保证性和可信任性。
<img src="//q4.itc.cn/q_70/images03/20240309/468bdb5e6e3d466c8dddad2c67dcae60.jpeg" style="width: 50%; margin-bottom: 20px;">
同期，白宫呼吁七家领先的人工智能机构同意自愿守护未颁布的模型权重。模型权重相当于人工智能模型的“奥密武器”，其他人能够经过修改模型权重，在无保证办法的状况下在新系统中重新创造她们的能力。
不止国外，国内亦针对生成式AI的安全防御快马加鞭。
瑞莱智慧便是其中之一，她们的策略是“用AI检测AI”。
瑞莱智慧RealAI于2018年7月依托清华大学人工智能科研院发起设立，面向城市治理、金融、教育研究、智能汽车等行业场景，提供以通用AI模型、AI安全为核心能力的AI平台制品与行业处理方法。
瑞莱智慧RealAI联合创始人&算法专家萧子豪告诉「甲子光年」，日前针对AI换脸技术有两种主流办法，一种是识别视频是不是有编辑痕迹，如液化、磨皮等均会留下特殊的编辑痕迹；一种是判断视频内容是不是违背常识。此前，谷歌Gemini 1.5便用第二种办法“拆台”Sora，指出Sora生成视频违背理学常识。
不外，萧子豪暗示，谷歌Gemini基于人类反馈训练，这亦间接决定了其在识别AI生成视频时存在必定局限性——人类没法识别的Gemini亦没法识别。为此，瑞莱智慧着重研发相应技术识别人眼没法识别的痕迹。
整体来看，生成式AI生成的虚假视频检测，或许必须一套完全不同于早年“AI换脸”的检测技术。“AI换脸的攻击办法比较多，但攻击区域比较小。但生成式AI的伪造办法还比较少，除了Diffusion外，其他技术路线做出来的视频都不足逼真，瑕疵会暴露在整幅画面上。”
“AI生成视频的检测和传统的AI换脸会有不同，但到底有多大不同还没法确定，必须看更多Sora的视频示例才行。”萧子豪暗示，团队正在对生成式AI进行一次系统性梳理，预判可能的发展趋势。从技术上看，Diffusion模型生成的视频会有尤其的频谱或噪点。
中科睿鉴亦是数字安全行业的表率性玩家，已在该赛道深耕近20年。
Sora的显现给AI视频检测带来了更大不确定性，带出了“真的假视频”（AI生成视频），“假的假视频”（真人摆拍冒充Sora生成视频）等现象，判真判假都很要紧。更有网友戏叫作：此刻有真的真视频、假的真视频、真的假视频、假的假视频……
<img src="https://q0.itc.cn/q_70/images03/20240309/6a11ac44f50045c8b98e53997845499c.gif" style="width: 50%; margin-bottom: 20px;">
生成视频与真实视频检测结果对比，照片源自：中科睿鉴
对此，中科睿鉴亦在内部做了海量相关Sora生成的视频测试。结果表示，日前Sora生成的视频在技术上是能检测的。
中科睿鉴颁布的数据表示，已实现针对Sora的生成视频鉴定，实测准确率85%以上。除了Sora，睿鉴生成视频检测引擎对十余种其他主流技术路线生成的视频，平均检出率在90%以上。
中科睿鉴告诉「甲子光年」，面对生成模型技术原理突破带来的成代际的快速跃升，检测模型仅仅靠数据和算力的线性迭代是不足应对的，建设和累积伪造检测的AI底座和专用基本模型能力至关要紧。
国家监管方面亦正在加快脚步。
2023年颁布的《最高人民法院、最高人民检察院、公安部关于依法惩治网络暴力违法犯罪的指点意见》已有知道规定，对“利用‘深度合成’等生成式人工智能技术颁布违法信息”的情形予以从重处罚。
3月4日下午，在全国政协十四届二次会议上，全国政协委员、全国工商联副主席、奇安信集团董事长齐向东意见，从供给侧的方向能够鼓励各行业头部公司与专业安全厂商结成创新联合体，在重要行业选择典型场景开展联合创新，一起探索大模型安全创新制品在威胁检测、漏洞挖掘、指挥研判等方面的应用，在实战中推动“AI+安全”进入越用越强的良性循环。
从需求侧方向，齐向东暗示，积极的政策引导是推动新事物落地应用、成长壮大的催化剂。意见像支持新能源汽车的发展同样，支持“AI+安全”发展，设置专项基金，对开发创新“AI+安全”制品的公司，给予政府基金、贴息贷款或研究项目等支持；对率先取得技术突破，实现成果转化的研究公司和公司给予奖励；对积极运用关联技术、制品和服务的公司给予相应补助，推动“AI+安全”关联产业取得更加多科技创新成果。
全国人大表率、农工党中央委员、南昌大学元宇宙科研院院长闵卫东亦提出，应当加快科研数字技术防范人工智能危害的关联意见。他意见，在人工智能飞速发展的同期，亦要创立起相应的数字之“盾”，拉紧人工智能的“缰绳”。
全国人大表率、科大讯飞董事长刘庆峰则意见围绕大模型的数据安全、隐私泄密、靠谱性、知识产权等几大重要方面制定法律法规，提高通用人工智能技术靠谱性与规范性；并针对通用人工智能技术可能带来的社会危害、伦理挑战和人类文明变化进行开放式课题科研。
不外，一个残酷的现实是——创立数字之“盾”的命题依然任重而道远。
一场永没止境的“追击”
2021年世界人工智能大会上，瑞莱智慧颁布了生成式人工智能内容检测平台DeepReal。
<img src="//q2.itc.cn/q_70/images03/20240309/77b68630004548ed99928c2e1abaf3f2.jpeg" style="width: 50%; margin-bottom: 20px;">
DeepReal检测演示，照片源自：瑞莱智慧
彼时，Deepfakes的重点形式是经过换脸公众名人传播虚假言论；黑产亦在用AI换脸诈骗获利。瑞莱智慧颁布该制品的两大初衷，便是过滤虚假信息和反诈骗。
“近几年AI发展太快，有时咱们会高估它的速度，有时会低估，但大都数时候都在低估，”萧子豪说，“Sora的显现超乎所有人的预期，咱们在2021年制定的部分防御策略，今天可能已然不适用了。”
2022年，ChatGPT引爆生成式AI的热潮后，萧子豪显著感到客户需求增多了。“AIGC制品有其成熟和落地的周期，咱们的检测技术亦受AIGC技术和制品周期的影响。”萧子豪透露，接下来，制品迭代的重心将是连续适应攻击算法的演化。瑞莱智慧正在改进内部开发流程，从基本上加强适应的速度。
毋庸置疑，生成式AI的普及会给AI安全厂商乃至全社会带来更大的挑战。
不外，在萧子豪看来，最大的挑战不在于技术。“AIGC制品生成的视频人眼辨识的难度确实增多了，但从技术方向出发，AI攻击和防御技术的gap总体并无质的加大。”
真正的挑战在于，在客户的实质场景中，AI安全厂商常常要“戴着镣铐跳舞”。真正将一套AI安全处理方法落地到客户场景时，并不完全是技术比拼，首要要做的是把帐算清楚。“客户场景的数据特点、硬件前提以及详细的场景需求各有不同，咱们必须思虑到方方面面。”萧子豪暗示。
长远来看，AI安全更大的挑战在于，社会是不是真正认识到了AI安全的紧迫性。“安全问题就像气候问题同样，倘若大众此刻只看重发展，不注意安全问题，始终拖延下去，等到很严重的时候再行动可能就太迟了。”萧子豪告诉「甲子光年」。
毕竟，“防御”相针对“攻击”本就带有了被动寓意。攻击技术变化多端，大多时候都是检测技术在追赶攻击技术。安全厂商和攻击方之间，是一场永没止境的“追击”。<a style="color: black;">返回外链论坛：http://www.fok120.com/，查看更加多</a>

责任编辑：网友投稿

听听海 发表于 2024-8-23 11:10:08

谢谢、感谢、感恩、辛苦了、有你真好等。

lanbingkj 发表于 2024-9-24 22:27:23

同意、说得对、没错、我也是这么想的等。

4zhvml8 发表于 2024-10-8 04:36:58

seo常来的论坛，希望我的网站快点收录。

m5k1umn 发表于 2024-10-10 05:55:05

对于这个问题，我有不同的看法...

1fy07h 发表于 2024-11-7 16:50:21

谷歌网站排名优化 http://www.fok120.com/

页: [1]

天涯论坛's Archiver

“AI原生”骗局江湖：真的真视频、假的真视频、真的假视频、假的假视频