中华网 china.com

新闻

昆仑万维推出全球首款AI短剧平台SkyReels,短剧进入“无人区”

关键词:
2024-08-19 13:36:29  人民号

昆仑万维推出全球首款AI短剧平台SkyReels,短剧进入“无人区”

和你说一个新鲜事——以后你所刷到的短剧,从台前到幕后,可能都没有“人”影了。在传统模式里,一部短剧的生产链条,从剧本研发、制作到发行,每一个环节里都站满了“人”,而现在因为AI的出现,可能只需要一个会在屏幕面前摆动鼠标的导演,就能完成所有的流程。图片(传统模式下的短剧生产流程)8月19日,昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体,让创作者“一键成剧”,轻松制作高质量AI视频。昆仑万维AI短剧平台SkyReels的推出,标志着全球AI短剧创作实现了一次重大的技术飞跃。也就是说,不需要请演员、找场地,借用AI的力量,打开SkyReels,操作一下键盘,就能制做出一部短剧了。AI做短剧,开始跨入“无人区”。昆仑万维布局AI短剧的野心:做颠覆原有生产模式的新物种出海做短剧,并不是一件新鲜事。2022年,中文在线的短剧产品ReelShort上线,一年后便登上美国iOS娱乐榜免费第1名,不久后,ShortTV、DramaBox等后起之秀也持续输出爆款短剧。它们的题材以霸总、爱情、狼人为主,ReelShort爆款短剧《The Double Life of My Billionaire Husband》就包含了“英雄救美”、“财产争夺”等环节。图片(ReelShort爆款短剧《The Double Life of My Billionaire Husband》剧情解析)这类短剧通常都是本土原创,即出海团队需要结合本土文化和用户兴趣,创作出符合当地用户审美品味的剧本,它们能够精准地捕捉令当地人“上头”的剧情爽点。

这些短剧的核心问题在于,需要足够了解并钻研本土文化、制作周期较长,并且需要耗费一定的成本在寻找本土演员上。

其实,初始的出海短剧模式十分简单粗暴,它们通常直接将中国本土的爽剧进行字幕翻译后,便在当地播出,为了减少违和感,一些出海团队会利用AI对短剧的演员口型进行优化,看上去像是“顶着一张中国面孔的演员在用英文讲台词”,但一些观众依旧觉得生硬,就像我们在中国看欧美影视剧时,见到蓝眼碧发的欧美人用着奇怪的口吻讲中文一样,很难让观众有真正的代入感。于是,一些出海团队会使用AI对短剧中的演员进行“换脸”,这样就更能让当地人接受。可见,过去的出海团队为了做出一部受欢迎的短剧,会想出各种“招”,烧了不少脑部CPU。那么,在大模型时代,有没有一款短剧产品,能够打破文化差异、不受语言限制,将所有环节都用AI来解决?正好在ReelShort出海的同一年,昆仑万维看准

AIGC

的系统性机会,通过对移动互联网时代的成功模式进行复盘,发现密码就在于“免费+To C”模式,而观察至今依旧还活得很好的“巨头”公司,会发现不少都将某个垂类做到了极致。昆仑万维董事长兼CEO方汉据此判断,可以遵循这一套逻辑出击AIGC市场。昆仑万维想到了“AI

UGC

”策略,先从C端的高频场景出手,比如探索网文、短剧、动画、音乐等细分赛道的独角兽画像。其中,短剧也成为了昆仑万维高层的重要选项,他们希望能将做出一款颠覆原有短剧生产模式的新物种。AI短剧平台SkyReels也在这样的逻辑之下诞生,它是由AI驱动的一站式短剧视频创作平台,从剧本生成、角色生成、分镜头融合到最后的短剧生成,从头到尾都由AI生成。总体而言,SkyReels就像导演的AI Agent一样,可以将一个简单的创意变成一部短剧。从头到尾都是Agent以

Sora

为代表的AI视频生成模型出现后,国内外也有很多玩家陆续推出视频生成大模型,比如Pixverse、

快手可灵

、智影清源,同时也出现了一批使用这些大模型制作影视作品的新兴导演。虽然使用这些模型能获得不错的视频生成效果,但想做一部成熟的影片,对使用者本身的专业能力依旧有一定要求,他们需要具备较高的编剧能力和艺术审美能力。比如,使用者需要事先做好构图、想像出想要的镜头画面,再使用包含专业术语的prompt在

Midjourney

等产品上调试出满意的图片,随后导入进视频生成产品中做镜头调整,最后导出作品。虽然这些工具也大大缩短了影视作品的制作链条,但它们面向的更多是

PUGC

群体,而SkyReels的使用门槛更低,整个操作流程简单智能,输入一个创意,接下来的可以都交给AI,

相比而言,SkyReels作为全球首款AI短剧平台,是一款受众群体更大的UGC产品。

(SkyReels产品演示)SkyReels是全球首个混合3D引擎和生成式AI的视频创作平台,使用流程也十分简单,选择创作短片之后,输入创意,可以选择想要的视频风格,比如动漫风格、现实主义、吉卜力风格等,就能一键生成剧本。系统会根据剧本故事需要,自动生成角色,随后用户便可以查看自动生成的分镜剧本,再将其一键转化为视频,并能够自动将内容转换为

1080P 60帧

的高清视频;

单次可生成视频长度达180秒

,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。图片(传统的短剧生成模式 VS SkyReels生成)整体来看,一个短剧的完整生产链,涵盖剧本生成、角色定制、分镜生成、剧集拍摄和后期生成,而SkyReels用三个自研大模型就能提升这条生产链的效率。

在内容研发流程中,传统的短剧生产方式,

是从现成的网络小说中选取部分章节,再根据短剧的特点做改编,需要编剧能够结合受众的兴趣,巧妙设置剧情的转折点,这样才能提升用户对下一个章节付费的意愿。SkyReels在这个环节利用自研剧本大模型

SkyScript

,替代了传统短剧人工式的内容研发。昆仑万维首先构建了亿级的高质量短剧结构化数据集SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;此外,算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,不论是新手还是资深编剧,都可以通过这套模型创作出吸引人的短剧剧本。图片(SkyScript剧本大模型技术原理图)拥有一个动人的故事之后,下一步是将这些故事转化成分镜头剧本,在传统的生产模式中,这个环节需要邀请演员、线下设置场景,导演需要和演员沟通要领,再进行拍摄,涉及到人力和布景成本。但这些都可以通过AI大模型替代,SkyReels在这个环节使用的是昆仑万维

自研分镜大模型StoryboardGen,

该模型对影视动画数据进行逆向处理,从而得到高质量的工业级分镜数据集,并且设计了分镜多智能体框架,高质量实现场景、镜头、角色和动作的生成。在图像生成效果上,昆仑万维使用自研首创的DiT-Moe模型,提升图像质量。图片就如在正式拍摄的过程中一样,需要将分镜头有机融合在一起,才能得到一个完整的故事体系。

SkyReels使用WorldEngine,它是业界首个将AI 3D引擎与视频大模型深度融合的创新平台,实现了3D 生成、视频生成、3D与视频混合创作

。WorldEngine创新平台包含多个子环节,每个环节又分别使用了不同的模型。

在3D生成模块中,

使用的是自研的Sky3DGen大模型,它能够生成多样化的3D元素和场景,从自然景观到未来都市,从静态物体到动态角色,并且提供了实时的3D场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在WorldEngine的加持下,用户可以构建3D虚拟影棚,实现虚拟拍摄体验。

在3D与视频混合创作模块,昆仑万维以图层融合技术为核心,打造3D与视频混合创作模式。视频中的任意元素都可以自由选择使用3DAI引擎生成或者视频大模型生成。此外,针对混合中遇到的光照和风格差异细节,昆仑万维单独训练了融合生成模型,使得图层融合后的视频呈现较好的一致性。

由于引擎的使用,与传统的视频生成相比,WorldEngine实现了成本下降,同时,生成速度也提升了数个量级。虽然一个短视频到这里基本完成生成了,但常常刷剧的群体也会感受到,好的台词功底和BGM对剧情的展示,有着事半功倍的效果。在台词上,SkyReels的AI文本理解技术,经过上万本小说的深度学习,能够自动化地从文本中识别角色对话、情感表达,并预测出合理的句间停顿。在旁白方面SkyReels通过情感化语音合成技术,帮助旁白用抑扬顿挫的韵律,让角色对话充满丰富充沛的情感。昆仑万维透露,SkyReels的智能体不仅能理解文字,更能智能分析剧本中的场景氛围,“基于先进的多模态检索和背景音乐(BGM)生成能力,我们能够为视频智能配上合理的背景音乐,让每一帧画面都与音乐完美融合。”昆仑万维AI短剧平台SkyReels这一革命性的工具,有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。一个由AI技术驱动的短剧创作与消费的时代,正在到来。昆仑万维AI UGC的全球布局国海证券研报提到,AI有望提高短剧产能,降低成本。短剧出海市场空间保守预测约为360亿美元。SkyReels是昆仑万维出海布局策略中的一个缩影,背后是他们All in AIGC的战略思考。2020年,昆仑万维创始人周亚辉就看到了AIGC的潜力,他们预判AI体系之下将会迎来新的内容的黄金时代。昆仑万维董事长兼CEO方汉回顾移动互联网时代的机遇,总结爆红内容产品的规律,发现大多数都是“免费+To C”的模式,因为群体基数足够大,只要产品能够戳中用户的需求点,就能获得指数级的用户增长,打造“AI UGC”平台成为昆仑万维的核心策略,即给1%的内容创作者提供服务、让99%的用户消费内容。那么,AIGC时代爆红的产品画像是怎样的?方汉认为,适配AI的端侧新硬件、新手机诞生的时候,或许就是AIGC获得颠覆性成果的时候,但这个过程还需要3~5年,而当下的核心任务是找准机会点,做好预判并占据AIGC的风口。按照移动互联网时代的规律,每个国家都可能有自己的超级App,也可能一个超级App同时在多个国家划分地盘。方汉经过一番思考后,认为应该先占据用户性价比和接受程度高的国家,比如欧美、日韩和中国,再逐步扩散到中东、东南亚、南美等地区。圈定国家之后,昆仑万维的管理层开始思考能够诞生超级App的垂类,他们不断问自己“怎么样才能变成巨头?”上一个时代至今还活着的内容巨头,基本都深耕某一个垂直娱乐品类,比如网文、短剧、动画,同样的逻辑在AIGC上也会重演。目前,昆仑万维已经针对“AI UGC”策略在国内进行系统布局,在大模型、AI搜索、AI音乐等板块均已构建产品矩阵。其中,昆仑万维的大模型已历经多次迭代:2月份推出新版

MoE

大语言模型“天工2.0”与新版“天工AI智能助手”APP;4月份“天工3.0”基座大模型与“天工SkyMusic”音乐大模型正式开启公测;6月份昆仑万维开源开源隶属于“天工3.0”的 2 千亿稀疏大模型 Skywork-MoE,在

OpenAI

宣称封锁来自非支持国家和地区的API流量时,天工开放平台面向OpenAl API用户推出“一键搬家计划”,并提供1.5亿Tokens的API调用资源,其中就包括天工2.0及天工3.0大模型。在迭代大模型的同时,AI搜索也进入方汉的重点关注范畴,昆仑万维早于OpenAI的SearchGPT一年时间布局AI搜索,并在今年对搜索产品进行升级,支持搜索文本、图片、视频等板块,用户可将结果以思维导图、表格、大纲等形式呈现,并能保存大纲及思维导图直接生成PPT。除了产品层面,昆仑万维耶联合国际高校,开源数字智能体研发工具包AgentStudio,为研究人员和开发者提供覆盖智能体完整开发流程的综合性平台。不论国内还是海外,每一个语言体系都需要有自己的一套产品,昆仑万维相信,AIGC平台在全球的红利期即将到来。

昆仑万维推出全球首款AI短剧平台SkyReels,短剧进入“无人区”!

(责任编辑:卢其龙 CN070)
关闭

上周国际金价上涨2.6% 全球央行年会聚焦点

上周国际金价上涨2.6%2024-08-19 13:35:27

一高老师说傻子都淘汰去三高五高了 校方通报处理结果

一高老师说傻子都淘汰去三高五高了2024-08-19 13:35:01

今日凌晨 菲海警船冲撞中国海警舰艇

今日凌晨 菲海警船冲撞中国海警舰艇2024-08-19 13:34:30

华子揭秘奥运内幕:击败法国夺金后 我和杜兰特库里都接受药检

华子揭秘奥运内幕:击败法国夺金后 我和杜兰特库里都接受药检2024-08-19 13:28:26

一男子尝试跳水致视网膜脱离 盲目模仿险象环生

一男子尝试跳水致视网膜脱离2024-08-19 13:33:41

身高1.88米,他在日本顶级联赛打中锋 矮壮篮板王的逆袭之路

身高1.88米,他在日本顶级联赛打中锋2024-08-19 13:27:53

五角大楼“披萨指数”还在预测战争吗?

五角大楼“披萨指数”还在预测战争吗?2024-08-19 09:30:11

乌军突袭打乱了俄乌秘密谈判计划?俄方回应

乌军突袭打乱了俄乌秘密谈判计划?俄方回应2024-08-19 09:56:16

全红婵谈夺冠后拥抱陈芋汐 赛场姐妹情深展体育精神

全红婵谈夺冠后拥抱陈芋汐2024-08-19 13:27:29

民事强制执行法草案终止审议 审执分离模式存分歧致立法搁浅

民事强制执行法草案终止审议2024-08-19 13:33:06

“会谈富有建设性”?冲突双方:仍存分歧!

“会谈富有建设性”?冲突双方:仍存分歧!2024-08-19 10:15:10

手头紧!和韩国合作的KF-21项目,印尼预算砍了6成多

手头紧!和韩国合作的KF-21项目,印尼预算砍了6成多2024-08-19 09:51:58

俄军部署苏-30SM2对付F-16?

俄军部署苏-30SM2对付F-16?2024-08-19 10:12:53

俄罗斯和乌克兰,都宣告重大胜利

俄罗斯和乌克兰,都宣告重大胜利2024-08-19 09:22:28

双胞胎考上大学爷爷一个孙子奖10万 亲情助力梦想起航

双胞胎考上大学爷爷一个孙子奖10万2024-08-19 13:29:37

被指“参与破坏北溪管道”,波兰总理回应

被指“参与破坏北溪管道”,波兰总理回应2024-08-19 10:01:54

一高老师说傻子都淘汰去三高五高了 校方通报处理结果

一高老师说傻子都淘汰去三高五高了2024-08-19 13:35:01

企业增利居民增收税收却下降 专家:税费优惠是重要成因

北京:企业增利居民增收税收却下降 专家:税费优惠是重要成因2024-08-19 13:34:04

接连“断桥”之后,乌军是攻?是守?

接连“断桥”之后,乌军是攻?是守?2024-08-19 09:27:02

交银信托被罚120万元 相关责任人被警告 违规兑付与数据漏洞成焦点

交银信托被罚120万元 相关责任人被警告2024-08-19 13:33:51

泪目!全红婵揭秘夺金后没有特别开心 闺蜜情深引反思

泪目!全红婵揭秘夺金后没有特别开心2024-08-19 13:28:16

台湾海峡管控能力,正在发生变化

台湾海峡管控能力,正在发生变化2024-08-19 09:33:43

十天了,为何俄军还未在库尔斯克转入反攻?

十天了,为何俄军还未在库尔斯克转入反攻?2024-08-19 09:45:26

美官员:“乌方此举绝对让俄罗斯人惊讶”

美官员:“乌方此举绝对让俄罗斯人惊讶”2024-08-19 09:43:48

乘客边吸电子烟边发抖司机果断报警 毒品疑云笼罩旅途

乘客边吸电子烟边发抖司机果断报警2024-08-19 13:27:11

上周国际金价上涨2.6% 全球央行年会聚焦点

上周国际金价上涨2.6%2024-08-19 13:35:27

今日凌晨 菲海警船冲撞中国海警舰艇

今日凌晨 菲海警船冲撞中国海警舰艇2024-08-19 13:34:30

美媒爆:乌克兰突袭打断俄乌秘密谈判

美媒爆:乌克兰突袭打断俄乌秘密谈判2024-08-19 09:36:31

大桥被炸断牵动库尔斯克战局!乌俄在该地交火日益白热化

大桥被炸断牵动库尔斯克战局!乌俄在该地交火日益白热化2024-08-19 10:08:30

试管独生女撞脸陌生女孩 疑家属回应

试管独生女撞脸陌生女孩 疑家属回应2024-08-19 13:32:20

景区回应演员走钢丝不慎坠地 表演暂停,原因待查

景区回应演员走钢丝不慎坠地2024-08-19 13:28:49

俄乌两大核电站安全引担忧!国际原子能机构总干事:再次呼吁各方保持最大限度克制

俄乌两大核电站安全引担忧!国际原子能机构总干事:再次呼吁各方保持最大限度克制2024-08-19 10:06:28

新房钥匙没拿到,为啥装修推销电话就来“狂轰滥炸”了?30万条业主信息被卖

新房钥匙没拿到,为啥装修推销电话就来“狂轰滥炸”了?30万条业主信息被卖2024-08-19 13:29:13

普京突然出国了

普京突然出国了2024-08-19 09:25:17

美海军重启两栖战舰采购,“圣安东尼奥”级生产线保住了

美海军重启两栖战舰采购,“圣安东尼奥”级生产线保住了2024-08-19 09:48:38

相关新闻