当全球还沉迷在如何用文本生成文本,以及文本生成图片的时候,OpenAI就这么掏出来了一个视频生成模型Sora。有关Sora的具体介绍和效果展示可以看我们昨天的文章《》。简单来讲,这是一个能够根据文本指令或静态图像生成长达1分钟视频的扩散模型,而且视频中还包含精细复杂的场景、生动的角色表情以及复杂的镜头运动——它做到了目前市面上视频模型做不到的东西。
那么Sora是如何做到的?在中,我们曾第一时间基于仅有的信息给出了一个判断:
简单粗暴的理解,就是语言能力足够强大之后,它带来的泛化能力直接可以学习图像视频数据和它体现出的模式,然后还可以直接用学习来的图像生成模型最能理解的方式,给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令,最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
而之后OpenAI发布了Sora的技术报告:《Video generation models as world simulators》(视频生成模型作为世界模拟器),其中介绍的技术思路基本印证了我们上面的判断。
接下来我们一起来基于有限但足够信息丰富的技术报告来解读一下Sora背后的技术。
用大语言模型的方法理解视频
Sora的设计灵感来自于大语言模型,最主要的原因是大语言模型有一个核心功能是通过代码将多种文本形式进行了统一。而OpenAI为了训练出Sora,他们的做法也是将各类视觉数据转化为统一表示的方法。
不过在正式了解Sora之前,我们需要先科普一个概念——块(patches)。有点类似于大语言模型中的token,块指的是将图像或视频帧分割成的一系列小块区域。这些块是模型处理和理解原始数据的基本单元。
对于视频生成模型而言,块不仅包含了局部的空间信息,还包含了时间维度上的连续变化信息。模型可以通过学习patches之间的关系来捕捉运动、颜色变化等复杂视觉特征,并基于此重建出新的视频序列。这样的处理方式有助于模型理解和生成视频中的连贯动作和场景变化,从而实现高质量的视频内容生成。
OpenAI又在块的基础上,将其压缩到低维度潜在空间,再将其分解为“时空块”(spacetime patches)。
晕了是不是,别急,一个一个解释。潜在空间是一个3年前出现的概念,是指一个高维数据通过某种数学变换(如编码器或降维技术)后所映射到的低维空间,这个低维空间中的每个点通常对应于原始高维数据的一个潜在表示或抽象特征向量。但是呢,优化强大的扩散模型往往需要消耗数百个GPU日的计算资源,并且由于其序列评估性质,推理成本较高。因此,本质上来讲潜在空间,就是一个能够在复杂性降低和细节保留之间达到近乎最优的平衡点,极大地提升了视觉保真度。
时空块则是指从视频帧序列中提取出的、具有固定大小和形状的空间-时间区域。相较于块而言,时空块强调了连续性,模型可以通过时空块来观察视频内容随时间和空间的变化规律。
为了制造这些时空块,OpenAI训练了一个网络,用于降低视觉数据的维度,叫做视频压缩网络。这个网络接受原始视频作为输入,并输出一个在时间和空间上都进行了压缩的潜在表示。Sora在这个压缩后的潜在空间中进行训练和生成视频。同时,OpenAI还也训练了一个相应的解码器模型,用于将生成的潜在向量映射回像素空间。
刚才咱们也聊了,说这个“块”是非常接近token的,那么这些块的作用也应该和token差不太多。对于给定的压缩输入视频,OpenAi就直接提取一系列块作为Transformertoken使用,然后这些时空块会被进一步编码并传递给Transformer网络进行全局自注意力学习。最后利用Transformer的强大能力来处理并生成具有不同属性的视频内容。
这一方案同样适用于图像,因为图像可以看作是仅有一帧的视频。基于块的表示方法使得Sora能够对不同分辨率、时长和宽高比的视频和图像进行训练。在推理阶段,可以通过在一个适当大小的网格中排列随机初始化的块来控制生成视频的尺寸。
此外,在Sora模型的介绍页面虽然提到的都是通过文本来生成视频,但Sora还能够接受其他类型的输入,比如图像或视频,以达到图片生成视频、视频生成视频的效果。这一特性使得Sora能够执行广泛的图像和视频编辑任务——例如制作完美循环播放的视频、为静态图像添加动画效果、向前或向后延展视频时间轴等。
实现对物理世界的“涌现”
在长期的训练中OpenAI发现sora模型逐渐拥有了一项新能力,叫做三维一致性。指的是Sora能够生成动态视角的视频。同时随着视角的移动和旋转,人物及场景元素在三维空间中仍然保持一致的运动状态。
这个可能对咱们人类来说没什么,但是对于人工智能来说,还是相当厉害的。人工智能理解三维物理世界,跟人类理解三维物理世界的方式不一样,它采用了一种拓扑结构上的理解。注意,这里的拓扑结构不是计算机的拓扑结构,而是拓扑学中的拓扑结构。拓扑结构是一个几何或空间的抽象描述,用于描述集合中元素之间的连接方式和空间属性,而不考虑具体的度量或形状。它关注的是空间中点与点之间的连通关系以及空间的整体形状,而不是具体尺寸或角度等细节。
除此之外,既然视频的视角发生变化,那么相应的纹理映射也要改变。Sora的真实感非常强,换句话说,纹理映射在拓扑结构上就得非常准确。三维一致性能力使Sora能够模拟来自现实世界中人物、动物和环境的某些方面。
一个让人兴奋中带着点害怕的消息是,这些属性并非通过为3D、物体等添加明确的归纳偏置而产生——它们纯粹是规模效应的现象。也就是说,是Sora自己根据训练的内容,判断出了现实世界中的一些物理客观规律,某种程度上,人类如果仅仅是通过肉眼观察,也很难达到这样的境界。
还有一点,视频生成系统面临的一项重大挑战是在生成长视频时保持时间上的连贯性。而Sora也能够有效地模拟短程和长程依赖关系。例如,即使人物、动物或物体被遮挡或离开画面,Sora仍能保持这些元素存在于视线外,等到视角转换到能看到他们的时候,再将这些内容展现出来。同样的,它能够在单个样本中生成同一角色的多个镜头,并在整个视频中保持其外观的一致性。
事实上这点倒没有什么,因为Sora是从transformer模型中孕育的,而transformer模型本身就能通过全局自注意力机制等技术来实现很高的连续性。Sora只不过是从视频方面阐述了这种连续性而已。
对此,OpenAI得出了一个结论:视频生成模型是构建通用物理世界模拟器的一条有前景的道路。
Sora目前所展现的能力表明,它是能通过观察和学习来了解物理规律。就Sora的这个理解力,说句实在的比我都强,老师在上面讲课,我只能做到眼睛会了,脑子不会。
不过Sora当前作为一个模拟器存在许多局限性。在OpenAI的主页上,他们列举了该模型的一些常见失效模式,比如在长时间采样中可能出现的不连贯现象,以及物体无端出现等异常情况。从现有的结果来看,它还无法准确模拟许多基本交互的物理过程,像是玻璃破碎,以及其他类型的交互,比如吃食物。物体状态的变化并不总是能够得到正确的模拟,这说明很多现实世界的物理规则是没有办法通过现有的训练来推断的。
这些是这篇技术报告里最核心的信息,一如既往的,OpenAI在模型和实现细节方面继续保持Close,不过,在报告中,OpenAI在不停提到“大力出奇迹”的效果:
关于涌现,它写道:我们发现,当大规模地进行训练时,视频模型展现出许多有趣的涌现能力。这些能力使得Sora能够模拟现实世界中人类、动物和环境的某些方面。这些属性并没有任何针对3D、物体等的明确归纳偏见——它们纯粹是规模效应的现象。
OpenAI显然在把Sora描述成它一直坚持的Scaling law的又一次胜利——没有多么纯粹原创的技术,很多技术成分早已存在,但它却比所有人都更笃定的走了下去,并用足够多的资源在巨大的规模上验证了它。
每经AI快讯,有投资者在投资者互动平台提问:贵公司60个交易日机构资金流出四十多亿,这个是目前正常情况吗?还是公司存在重大利空事项未公布? 沪电股份(002463.SZ)4月1日在投资者互动平台表示,公司生产经营正常
2025-04-02公司,中信特钢,投资者浦银国际证券03月31日发布研报称,给予首旅酒店(600258.SH,最新价:13.96元)持有评级,目标价格为14.8元
2025-04-02首旅酒店,证券,持有评级联环药业(SH 600513,收盘价:10.51元)4月1日晚间发布公告称,江苏联环药业股份有限公司于近日收到国家药品监督管理局核准签发的《药品注册证书》。产品名称为“福多司坦”
2025-04-02联环药业,药品注册,600513平安证券04月01日发布研报称,给予上海银行(601229.SH,最新价:9.97元)推荐评级。评级理由主要包括:1)营收表现回暖,盈利增速修复;2)不良持续改善,拨备小幅下降。风险提示:1)宏观经济下行导致行业资产质量压力超预期抬升
2025-04-02平安证券,上海银行,推荐评级每经AI快讯,有投资者在投资者互动平台提问:请问公司是否还在正常营业?目前公司是否存在大股东股权纠纷?有没有存在爆雷情况? ST智云(300097.SZ)4月1日在投资者互动平台表示,目前公司各项生产经营活动正常有序开展
2025-04-02公司,中信特钢,投资者红星资本局4月1日消息,3月29日晚,一辆小米SU7在安徽高速路上发生碰撞后爆燃致3人死亡
2025-04-02小米,事故,安徽为满足智算等项目建设需要,不久前刚刚斩获近37亿元大单的海南华铁(603300.SH)拟发行不超20亿元银行间债券市场债务融资工具。近期A股算力大单频现,相关上市公司普遍面临资金紧张,为此已有多家公司公布相关计划
2025-04-02算力,AI,GPU亚泰集团(SH 600881,收盘价:1.67元)4月1日晚间发布公告称,截至2025年3月末,公司已累计回购股份约607万股,占公司总股本比例约为0.19%,回购最高价为1.66元/股,最低价为1.64元/股
2025-04-02亚泰集团,煤炭行业,607万欧菲光(002456)4月1日晚间发布2024年年度报告,2024年营业收入204.37亿元,同比增长21.19%;归属于上市公司股东的净利润5838.18万元,同比下降24.09%
2025-04-02欧菲光,江西,公司69岁的前世界首富比尔·盖茨,近期在与播客主持人拉杰·沙马尼(Raj Shamani)的对话中,公开了他对财富传承的最新看法
2025-04-02盖茨,巴菲特,美元红豆股份(SH 600400,收盘价:2.34元)4月1日晚间发布公告称,截至2025年3月底,公司已累计回购股份约818万股,占公司总股本的比例为0.36%,购买的最高价为2.59元/股、最低价为2.07元/股
2025-04-02红豆股份,818万,服装告别广州国资后,通用股份(601500)控制权或“花落”江苏国资
2025-04-02公司,股权转让,股权每经AI快讯,有投资者在投资者互动平台提问:请问公司3D打印技术可以用在人形机器人上吗? 光韵达(300227.SZ)4月1日在投资者互动平台表示,感谢您的关注
2025-04-023D打印,光韵达,人形机器人“城商行一哥”正式“换将”。3月31日,北京银行发布公告称,通过《关于聘任戴炜先生为行长的议案》,同意聘任戴炜担任北京银行行长,其任职资格尚需取得监管机构核准
2025-04-02北京银行,戴炜,行长3月29日,搭载3名乘员的小米SU7标准版在德上高速公路池祁段发生严重交通事故,造成3人死亡。两日后,4月1日午间,小米公司发言人首次对外公布事件细节,引发社会广泛关注
2025-04-02小米,事故,安徽每经AI快讯,有投资者在投资者互动平台提问:请问公司黄金及黄金产品,铜及铜产品的库存有多少? 宝鼎科技(002552.SZ)4月1日在投资者互动平台表示,投资者您好,截至2024年12月31日,公司成品金库存85.25公斤
2025-04-02宝鼎科技,投资者,公司天风证券04月01日发布研报称,给予锦泓集团(603518.SH,最新价:9.2元)增持评级
2025-04-02天风证券,锦泓集团,增持评级中银证券04月01日发布研报称,给予天德钰(688252.SH,最新价:25.98元)增持评级
2025-04-02天德钰,中银证券,电子4月1日,多家车企披露销量数据。随着新能源汽车市场竞争的加剧,常胜将军难觅,月度“销冠”轮番“换人”成为常态。 新势力方面,3月零跑以37095台的交付量,反超小鹏成为新势力车企的“销冠”,今年1月和2月小鹏为新势力“销冠”
2025-04-02交付,同比,蔚来每经AI快讯,有投资者在投资者互动平台提问:请问公司有新增机器人相关的订单吗? 春兴精工(002547.SZ)4月1日在投资者互动平台表示,您好,感谢关注
2025-04-02汽车零部件,通信系统,春兴精工当地时间2025年4月1日,俄罗斯总统普京在莫斯科会见中共中央政治局委员、外交部长王毅
2025-04-02俄罗斯,国际,中俄每经AI快讯,有投资者在投资者互动平台提问:贵公司旗下投入的或并购的公司是否有大数据、数据库等人工智能方面的业务?具体表现在哪些方面? 杭州园林(300649.SZ)4月1日在投资者互动平台表示,公司暂无人工智能相关业务,感谢您的关注
2025-04-02人工智能,指数,科创板华安证券04月01日发布研报称,给予中国海油(600938.SH,最新价:26.52元)买入评级
2025-04-02中国海油,华安证券,买入评级天合光能(SH 688599,收盘价:16.82元)4月1日晚间发布公告称,截至2025年3月31日,公司通过上海证券交易所交易系统以集中竞价交易方式回购公司股份约1423万股,占公司总股本约21.79亿股的比例为0.65%
2025-04-02天合光能,回购,公司上海建科(SH 603153,收盘价:18.31元)4月1日晚间发布公告称,截至2025年3月31日,公司通过回购专用账户以集中竞价方式回购公司股份约580万股,占公司总股本的比例为1.42%
2025-04-02上海建科,回购,公司4月1日,紫光展锐官网更新了一条关键信息——公司全称由“紫光展锐(上海)科技有限公司”变更为“紫光展锐(上海)科技股份有限公司”。这一名称变更的背后,标志着紫光展锐正式完成股份制改革,距离IPO目标更进一步
2025-04-02紫光展锐,上海,公司江航装备(SH 688586,收盘价:9.9元)4月1日晚间发布公告称,合肥江航飞机装备股份有限公司董事会于2025年4月1日收到公司总经理邓长权先生的书面辞职申请,邓长权先生因工作安排原因
2025-04-02邓长权,江航装备,董事会4月1日,2025福布斯全球亿万富豪榜正式发布
2025-04-02特斯拉,美元,英伟达每经AI快讯,有投资者在投资者互动平台提问:随着今年人形机器人逐步应用于各种场景及家居领域,基于公司机器人技术的储备,公司未来有没有计划开发人形机器人? 乐歌股份(300729.SZ)4月1日在投资者互动平台表示
2025-04-02公司,中信特钢,投资者金价又双叒叕大涨。 4月1日,国际金价再次突破上限。截至记者发稿,伦敦金现盘中最高触及3149.03美元/盎司,国内黄金T+D盘中最高触及738.26元/克,均续创历史新高
2025-04-02金价,上海黄金交易所,黄金