天涯论坛

 找回密码
 立即注册
搜索
查看: 96|回复: 5

怎么样用AI写作助手完成Sora视频创作

[复制链接]

2952

主题

3万

回帖

9997万

积分

论坛元老

Rank: 8Rank: 8

积分
99979405
发表于 2024-8-19 03:32:00 | 显示全部楼层 |阅读模式
ChatGPT发布仅过去了一年,市面上已然显现了众多的AI写作辅助工具。而此时我觉得选取一款免费的AI写作助手,最重要的影响原因能否满足各样新型应用场景的需求,而不只限于平常的写邮件写文案等任务。而近期AI界突破性的发展当属Sora生成视频的发布,其生成的视频在流畅性,连贯性,恰当性,连续时间等方面都是超越此前已有的任何视频生成工具。因此我的近期写作应用场景,便是围绕着AI视频创作展开。一个AI视频创造能够分为重点三大过程阅读理解剧本分镜脚本管理,和最后的画面生成。而怎样去描述一个个电影级的镜头画面,构成一个连贯恰当的故事短片,有些普通的AI写作工具是难以完成的。由于这个行业比较垂直,缺乏语料训练。因此必须这般的AI写作助手,它必须能够处理分析整部电影剧本,而后经过理解学习模仿,拥有进一步再创作的能力。

阅读理解剧本

因此在调研试用了许多AI写作工具之后,我对Kimi.ai的表现印象深刻。我重点看重的是它拥有20万字超长文本输入的阅读能力便是直接上传全部剧本进行阅读。况且是免费的,国内直接能够登录。这儿选取了著名的科幻电影《阿凡达》的英文剧本进行测试,总共有157页,能够直接上传对任意场景分析无压力。我对这部电影印象最深刻的一个场景,是全剧最高潮的一段,便是主人公骑着巨大红色的飞龙,降临在阿凡达族群中,给当时处在绝境的人们带来了期盼

然则时隔这么数年,主人公叫什么名字,那个红色龙叫什么,还有她们聚集在一块祈祷的地区皆想不起来了,只能尝试的用模糊的描述瞧瞧Kimi能否理解我的需求

说实话我第1次看见回复时候还是很惊艳的,之前尝试过有些其他AI制品类似的检索加强生成(RAG)文本的功能,但常常只能是胡乱截取片段回复的,缺乏关联性。而Kimi能够准确理解我模糊表达的含义,并且在全部剧本中准确检索到原文信息,还是非常厉害的。

阿凡达原始剧本中对这一幕的描述和我要找的一模同样

其实这日前大模型开发中最必须改进的关键部分,便是怎样减少幻觉生成,并且加强超长上下文语境理解能力。Kimi的开发团队对这种“大海捞针”的长文本性能进行了完整测试,在对比实验中,Kimi的性能都超过了GPT-4 turbo以及Claude 2.1等其他模型,感兴趣的伴侣能够阅读她们的完整报告。

Kimi Chat 颁布“大海捞针”长文本压测结果,搞清楚了这项测试的精髓

分镜脚本管理

那样理解电影剧本只是第1步,怎样学习模仿并再创造,首要必须理解电影镜头语言。实质上,有一系列的术语描述各样镜头种类。我让Kimi对《阿凡达》剧本中的镜头画面进行翻译和解释。

而在认识了这些电影术语之后,咱们能够尝试去拆解这部剧本。其中一个重要环节便是分镜(storyboard),便是以故事图像的可视化方式来讲明影片的形成通常以一次运镜做为分解单位,并标注上镜头类型、时长、对白等仔细信息。例如,咱们可以让Kimi按照《阿凡达》剧本创建一个分镜管理表

最后画面生成

因此有了这般的分镜表,就能够一方面按照画面内容描述生成影片,同期镜头类型、运镜方式以及对白配音等其他元素进一步丰富影片的变化细节。那在AIGC时代,一切都能够用AI生成。Sora模型能够照片输入做为初始,生成完整影片。那样咱们能够用Kimi来辅助生成描述繁杂电影画面的提示词,再运用类似Midjourney或Stable Diffusion等文生图工具进行绘制。这儿我让Kimi模仿《阿凡达》剧本格式进行再创作,生成一部历史冒险类的短片,主题内容和镜头类型都由Kimi决定,并且输出相应的文本生成照片的prompt

按照上面生成prompt生成为了分镜脚本板,看起来还不错,已然有一点故事感了dawn breaks over an ancient clock tower shrouded in mist, cinematic, oil painting style, consistent with a historical drama theme;黎明破晓于一座被雾气包围的古老钟楼上,拥有电影感,油画风格,与历史剧主题相一致。

close-up of an elderly clockmakers hands delicately repairing an antique clock, detailed, with a focus on craftsmanship, consistent with a historical drama theme;特写镜头展示一位年迈钟表匠的双手正在精细地修复一座古董钟表,注重细节,强调工艺,与历史剧主题相符。

a close-up shot of a gear slowly turning in the hands of a skilled clockmaker, high detail, reminiscent of a classic timepiece, consistent with a historical drama theme;一个特写镜头捉捕到一位技艺高超的钟表匠手中缓缓转动的齿轮,细节丰富,让人联想到经典的时计,与历史剧主题保持一致。

a panoramic view of a small town waking up to the sound of the town clock, with people starting their day, consistent with a historical drama theme;一个全景视角展示小镇随着镇钟的声响苏醒,人们起始她们的一天,与历史剧主题相符合。

a tracking shot following a young woman walking through a quaint town with a yellowed letter in hand, searching for an address, consistent with a historical drama theme;一个跟随镜头,捉捕一位青年女子手持一封泛黄的信件,穿行在古色古香的小镇上,寻找一个位置,这一场景与历史剧主题相契

a dialogue scene between a young woman and an elderly clockmaker discussing the legend of "the rift in time," consistent with a historical drama theme;一个对话场景,一位青年女子与一位年迈的钟表匠讨论“时间裂缝”的传说,这一主题与历史剧的风格保持一致。

结语

总结下来Kimi在长文本视频剧本创作方面的能力非常出色,这与其背面优秀的技术团队——月之暗面(Moonshot AI)的实力密切关联其创始人杨植麟是清华计算机系有名的AI专家,熟练认识自然语言处理行业的都晓得他的表率作XLNet以及Transformer-XL模型。而随着Sora模型的推出导致了AI发展的新热潮,将来结合像Kimi这般的文本对话助手和Sora这般的视频图像处理模型,简单的文字将会赋予每一个人无限丰富的自我表达能力和表现形式,将来充满无限可能令人期待。官网链接是http://kimi.ai,大众以避免费尝试Kimi写作助手




上一篇:免费 AI 写作助手哪家强?我的试用心得与体验分享
下一篇:AI写作外链潮!7款神操作写作助手,让你秒变文案大师!告别卡文瞬间高产!
回复

使用道具 举报

0

主题

655

回帖

0

积分

新手上路

Rank: 1

积分
0
发表于 2024-8-20 19:46:07 | 显示全部楼层
请问、你好、求解、谁知道等。
回复

使用道具 举报

0

主题

992

回帖

1

积分

新手上路

Rank: 1

积分
1
发表于 2024-8-27 12:08:10 | 显示全部楼层
太棒了、厉害、为你打call、点赞、非常精彩等。
回复

使用道具 举报

0

主题

1万

回帖

1

积分

新手上路

Rank: 1

积分
1
发表于 2024-8-29 11:26:42 | 显示全部楼层
论坛外链网  http://www.fok120.com/
回复

使用道具 举报

3139

主题

3万

回帖

9996万

积分

论坛元老

Rank: 8Rank: 8

积分
99968622
发表于 2024-9-30 08:20:12 | 显示全部楼层
哈哈、笑死我了、太搞笑了吧等。
回复

使用道具 举报

3126

主题

3万

回帖

9910万

积分

论坛元老

Rank: 8Rank: 8

积分
99108615
发表于 2024-10-2 04:38:58 | 显示全部楼层
你的留言真是温暖如春,让我感受到了无尽的支持与鼓励。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站点统计|Archiver|手机版|小黑屋|天涯论坛 ( 非经营性网站 )|网站地图

GMT+8, 2024-11-24 07:16 , Processed in 0.114198 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.