|
Runway前脚刚发布Gen-3 Alpha，Google后脚就跟了个王炸。
北京时间6月18日凌晨，Google Deepmind发布了视频生成音频（Video-to-Audio，V2A）技术的发展，能够为视频创建戏剧性的背景音乐，逼真的音效，乃至是名人之间的对话。
V2A技术支持为AI生成视频“配乐”，Google还尤其强调了官网发布的Demo视频都是由于自家在五月份发布的生成视频模型“Veo”和V2A技术合作打造。
有不少网友暗示，这下最终能够给用Luma生成的meme视频配上声音了！
从Google Deepmind官网发布的Blog上看，V2A技术会采用视频像素和文本提示来生成与底层视频同步的音频波形。
首要，V2A会对视频和文本提示进行编码，并经过扩散模型迭代运行，将随机噪声细化为与视频和所供给的文本提示相匹配的真实音频，最后再对音频进行解码并与视频数据相结合。
X网友纷纷暗示太赞了，但便是有一个小小小小的问题，和一样是凌晨发布的Runway的视频生成模型Gen-3 Alpha同样，这
又是一个大众都用不上的超赞模型，到底啥时候开源让咱们试试水！
先不急，咱们先尝尝官方发布的Demo咸淡！
Google认为，AI视频生成模型飞速发展，但市面上的大都数模型，不管是Sora、Luma，还是刚才发布的Gen-3 Alpha，都只能生成无声视频。
而Google所开发的V2A技术能够使AI视频进入“有声时代”，进一步推动AI在视听方面的完善与发展。
从Demo视频来看，其效果真的挺丝滑的，怪不得Google“夸下海口”！
例如这个，画面中一个人从前步行到后，能够听到令人不安的背景音乐和嘎吱嘎吱的脚步声。
【提示：电影、惊悚片、恐怖片、音乐、紧张感、氛围、混凝土上的脚步声。Prompt for audio: Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete】
诸如此类的视频配乐还有小恐龙破壳的声音、打鼓的音乐声、车流声等等。
【提示：可爱的小恐龙鸣叫、丛林氛围、鸡蛋破裂。Prompt for audio: Cute baby dinosaur chirps, jungle ambience, egg cracking】
【提示：音乐会舞台上的鼓手被闪烁的灯光和欢呼的人群包裹。Prompt for audio: A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd】
【提示：汽车打滑、汽车发动机节流、天使般的电子音乐。Prompt for audio: cars skidding, car engine throttling, angelic electronic music】
Google还强调，V2A技术之因此能够在卷得要命的AI视频圈“脱颖而出”，是由于该技术能够理解原始像素，因而哪怕不输入文本提示，只要用户供给视频，该技术亦能够为其“配乐”。
例如，下面吉他声和自动车声是在无任何提示的状况下合成的。
V2A技术亦能够生成名人对话，例如下面视频中角色所说的台词，“这只火鸡看起来棒极了，我好饿啊（this turkey looks amazing, Im so hungry）”。
不外从视频中看，名人唇形与台词并不完全匹配，由于视频模型不会生成与转录文本相匹配的嘴部动作，Google亦承认这一部分仍在科研完善其中。
另外，V2A技术还支持为视频输入生成无限数量的音轨，用户能够选取定义“正提示”来引导生成所需的声音，或定义“负提示”来引导远离不需要的声音。
这种灵活性运用户能够更好地掌控V2A的音频输出，从而能够快速尝试区别的音频输出，并选取最佳匹配。
下面三个视频是Google放出的Demo，咱们猜测Google是想说明用户能够用区别的文本提示来定向地修改配乐中的有些要素，不外好似不太显著
【提示：一艘宇宙飞船在浩瀚的太空中疾驰，星星从它身边飞过，速度火速，科幻感。Prompt for audio: A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi】
【提示：空灵的大提琴氛围。Prompt for audio: Ethereal cello atmosphere】
【提示：一艘宇宙飞船在浩瀚的太空中疾驰，星星从它身边飞过，速度火速，科幻效果。Prompt for audio: A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi】
虽然该技术还未开源，但从现有的Demo来看，待其开源之时，必将又掀起AI视频圈一阵大风浪。
届时咱们估计能看到AI圈“大混战”——Runway的Gen-3 Alpha刚生成一个视频，隔壁V2A就给它把音乐配好了；Meme变视频还没玩够呢，用户们已然等不及给它配上声音了。
AI视频圈，到底要“卷”成什么样？！
| 
发表于 2024-7-30 23:48:11
