字节跳动推出“中文版Sora”?
近日有传言称,字节跳动在Sora引爆文生视频赛道之前,已经在研发“中文版Sora”:一款名为Boximator的创新性视频模型。
2月20日,字节跳动相关人士告诉澎湃新闻记者,Boximator是视频生成领域控制对象运动的技术方法研究项目。目前还无法作为完善的产品落地,距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。
这款视频模型的特点是什么?与Runway推出的Gen-2、Pinka等市面上主流模型不同的是,Boximator可以通过文本精准控制生成视频中人物或物体的动作。Boximator的数据来源是WebVid-10M数据集,研究人员从中过滤出110万段动态明显的视频片段,并为其注释220万个对象的边界框,在PixelDance和ModelScope这两个模型上训练了Boximator。
字节跳动的研究人员表示,目前这款模型仍然处于研发阶段,预计将在2-3个月内发布测试网站。
作为国内的科技巨头,深耕短视频赛道的字节跳动自然不愿错过AI视频这一风口。2月7日,抖音集团CEO张楠官宣辞去集团CEO一职,将把全部精力All in剪映。
剪映是字节跳动推出的核心视频剪辑产品,尽管不少互联网公司都推出了自家剪辑产品,例如快手推出的快影,B站交出的必剪等,剪映依然处于国内领先位置。截至2021年,剪映的月活用户已经突破1亿,是国内最大的移动视频编辑产品。
澎湃新闻了解到,过去一年,张楠已经把绝大多数精力倾斜到剪映相关业务上,并亲自带队寻求在AI辅助创作上有所突破,即将推出一个AI生图和视频的产品。
在对标Sora方面,不少业内观察人士对剪映寄予厚望。但字节跳动方面未回应Boximator模型是否后续会应用于剪映中。
值得注意的是,此前字节跳动CEO梁汝波曾批评,公司对于新技术反应太迟钝。在2024年度全员会上,梁汝波直言,公司层面的半年度技术回顾太慢,直到2023年才开始讨论GPT,而业内做得比较好的大模型创业公司都是在2018年至2021年创立的。
当时,梁汝波还对剪映做出批评,此前剪映的自动续费功能被用户反馈不好取消,尽管公司很早就发现这一问题,却花了一年的时间才解决。在梁汝波看来,这便是公司迟钝的表现之一。
随着Sora诞生,又掀起一波科技公司的布局浪潮。浙商证券认为,短期内,Sora及同类产品可大幅提升图像和短视频的制作效率,改变创意生产及营销工作流,提升短视频产品生产力。AI生成视频工具的商业化将提速,目前Sora还未公布收费标准,参照之前Runway等文生视频工具收费情况,定价相对较高。鉴于Sora采用的世界模拟器技术路径,边际成本或有降低的可能。