揭秘Sora：用大语言模型的方法理解视频
当全球还沉迷在如何用文本生成文本，以及文本生成图片的时候，OpenAI就这么掏出来了一个视频生成模型Sora。有关Sora的具体介绍和效果展示可以看我们昨天的文章《》。简单来讲，这是一个能够根据文本指令或静态图像生成长达1分钟视频的扩散模型，而且视频中还包含精细复杂的场景、生动的角色表情以及复杂的镜头运动——它做到了目前市面上视频模型做不到的东西。
那么Sora是如何做到的？在中，我们曾第一时间基于仅有的信息给出了一个判断：
简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
而之后OpenAI发布了Sora的技术报告：《Video generation models as world simulators》（视频生成模型作为世界模拟器），其中介绍的技术思路基本印证了我们上面的判断。
接下来我们一起来基于有限但足够信息丰富的技术报告来解读一下Sora背后的技术。
用大语言模型的方法理解视频
Sora的设计灵感来自于大语言模型，最主要的原因是大语言模型有一个核心功能是通过代码将多种文本形式进行了统一。而OpenAI为了训练出Sora，他们的做法也是将各类视觉数据转化为统一表示的方法。
不过在正式了解Sora之前，我们需要先科普一个概念——块（patches）。有点类似于大语言模型中的token，块指的是将图像或视频帧分割成的一系列小块区域。这些块是模型处理和理解原始数据的基本单元。
热点推送
-
友讯达：目前公司经营情况稳定
每经AI快讯，有投资者在投资者互动平台提问：董秘好，近日公司股票连续下跌，且公司也没发布预增或预亏公告，请问公司今年上半年是不是订单大幅度下降所致？ 友讯达（300514.SZ）7月26日在投资者互动平台表示，目前公司经营情况稳定
2024-07-26公司，友讯达，投资者 -
俞敏洪：东方甄选不会持有与辉同行股份
新东方创始人俞敏洪7月26日在东方甄选股东沟通会上表示，东方甄选不会持有与辉同行股份
2024-07-26东方甄选，公司，同行 -
丰茂股份：公司目前正常经营
每经AI快讯，有投资者在投资者互动平台提问：请问公司目前生产经营情况如何？订单有增长吗？ 丰茂股份（301459.SZ）7月26日在投资者互动平台表示，公司目前正常经营
2024-07-26丰茂股份，公司，投资者 -
久之洋：当前 商业航天是国家鼓励发展的行业 公司的星体跟踪器产品可应用于商业航天领域
每经AI快讯，有投资者在投资者互动平台提问：武汉以“揭榜挂帅”“军令状”等方式支持商业航天关键技术攻关，给予单个项目最高3000万支持，新获批的商业航天国家商业中心、技术创新中心、工程研究中心等项目，给予1000万支持
2024-07-26商业航天，久之洋，投资者 -
亚太股份：公司和阿里目前暂无合作
每经AI快讯，有投资者在投资者互动平台提问：董秘，您好！请问贵公司与阿里是否有具体合作？是否为阿里的智能物流无人车＂小蛮驴＂提供了相关线控制动系统产品？ 亚太股份（002284.SZ）7月26日在投资者互动平台表示，公司和阿里目前暂无合作
2024-07-26阿里，亚太股份，投资者 -
亚太股份：公司有为无人驾驶物流车项目提供部分产品
证券时报e公司讯，亚太股份(002284)7月26日在互动平台表示，浙江省智能网联汽车创新中心的“无人驾驶物流车”项目目前已落地且正在顺利推进中，公司有提供部分产品
2024-07-26亚太股份，无人驾驶，公司 -
万邦医药：公司目前有减肥药相关的项目 现已开发出司美格鲁肽的样本分析方法
每经AI快讯，有投资者在投资者互动平台提问：请问贵公司有减肥药相关的项目吗？ 万邦医药（301520.SZ）7月26日在投资者互动平台表示，公司目前有减肥药相关的项目，公司现已开发出司美格鲁肽的样本分析方法
2024-07-26减肥药，万邦医药，投资者 -
亚太股份：公司的基础制动和汽车电子产品陆续进入客户的全球采购平台
每经AI快讯，有投资者在投资者互动平台提问：董秘，您好！请问贵公司扩大在海外投资，与近两年获得的不少定点项目有关吗？在海外的零部件产品主要在哪些方面呢？ 亚太股份（002284.SZ）7月26日在投资者互动平台表示
2024-07-26亚太股份，投资者，汽车电子产品 -
绿岛风：公司没有产品用于法国巴黎奥运会
每经AI快讯，有投资者在投资者互动平台提问：请问公司是否有相关产品用于法国巴黎奥运会？谢谢 绿岛风（301043.SZ）7月26日在投资者互动平台表示，公司没有产品用于法国巴黎奥运会
2024-07-26绿岛风，奥运会，投资者 -
体面分手后 董宇辉将面临哪些挑战？能“飞”多远？
“小作文事件”233天后，曾表态不会离开东方甄选的董宇辉，最终还是单飞了。 两年时间里，董宇辉经历了“知识带货”走红、东方甄选股价暴涨、小作文事件、成立“与辉同行”、分道扬镳.....他与东方甄选的“分手”无疑是体面的
2024-07-26东方甄选，公司，同行 -
亚太股份：创新中心的“无人驾驶物流车”项目目前已落地且正在顺利推进中 公司有提供部分产品
每经AI快讯，有投资者在投资者互动平台提问：尊敬的董秘：请问公司的轮毂电机已经用于无人驾驶快速物流车了吗？如有，请问是用于哪些公司？ 亚太股份（002284.SZ）7月26日在投资者互动平台表示
2024-07-26无人驾驶，公司，亚太股份 -
各国央行正计划增持！人民币汇率轻舟已过万重山？
7月25日，在岸、离岸人民币兑美元汇率大幅飙升，盘中一度均升破7.21关口，并一度考验7.2这个重要关口。当日离岸人民币兑美元最大涨幅将近700个基点，创下5月3日以来的新高。 就在此时，人民币再度传来重磅消息
2024-07-26人民币，中间价，7.1012 -
亚太股份：创新中心的“无人驾驶物流车”项目目前已落地且正在顺利推进中
每经AI快讯，有投资者在投资者互动平台提问：董秘，您好！请问贵公司的零部件产品有在无人物流车成功应用的案例吗？相关能应用在无人驾驶领域的产品有哪些？ 亚太股份（002284.SZ）7月26日在投资者互动平台表示
2024-07-26无人驾驶，亚太股份，投资者 -
宝丰能源：上半年净利润同比增长46.41%
7月26日，宝丰能源发布2024年半年度业绩快报，实现营业总收入168.95亿元，同比增长29.07%；归属于上市公司股东的净利润33.04亿元，同比增长46.41%；基本每股收益0.45元
2024-07-26宝丰能源，净利润，同比 -
朗坤环境：欧盟对公司生物柴油加征临时性关税对总体经营状况影响有限
朗坤环境(301305)7月26日晚间公告，欧盟于7月19日公布了对原产于中国的生物柴油启动反倾销调查的初步裁定结果，公司下属子公司深圳市朗坤生物质能源有限公司和广州市朗坤环境科技有限公司被列为“其他合作公司”
2024-07-26公司，朗坤环境，欧盟 -
义乌小商品城重庆数智产业园开园
证券时报e公司讯，7月26日，义乌小商品城（重庆）数智产业园开园
2024-07-26小商品城，重庆，产业园 -
倍杰特：五部门联合印发节水产业指导意见 政策加持成长可期
近日，国家发展改革委等五部门联合印发《关于加快发展节水产业的指导意见》（以下简称《指导意见》）。《指导意见》把以节水产品装备制造等为主要内容的节水产业作为新质生产力和绿色经济的重要组成部分
2024-07-26倍杰特，工业，公司 -
中信建投回应网传高校学生视频：终止该学生研学 对有关责任人启动问责程序
近日某高校学生在中信建投证券暑期研学期间，擅自拍摄了含有公司名称标识的小视频，引发关注。对此，中信建投证券回应财联社记者称，“视频内容涉及我司客户敏感信息，违反了我司合规管理规定
2024-07-26中信建投证券，程序，公司 -
腾达建设：上半年合计中标12.45亿元合同
证券时报e公司讯，腾达建设(600512)7月26日晚间公告，2024年1月至6月，公司及下属子公司中标项目共计8个，均为建筑施工业务合同，金额合计12.45亿元
2024-07-26腾达建设，高速公路，项目 -
中旗股份最新筹码趋于集中
中旗股份7月26日在交易所互动平台中披露，截至7月20日公司股东户数为13564户，较上期（7月10日）减少755户，环比降幅为5.27%
2024-07-26中旗股份，深股通，公司 -
俞敏洪：东方甄选不会再出现某个主播成立独立平台
7月26日，在东方甄选股东电话会上，新东方创始人、东方甄选CEO俞敏洪表示，东方甄选不会再出现某个主播成立独立平台。未来东方甄选主播会共同发展、共同富裕，有福同享，有难同当
2024-07-26东方甄选，公司，同行 -
腾讯音乐娱乐集团副总裁陈琳琳辞职
ZAKER 财经 7 月 26 日消息 腾讯音乐娱乐集团发布新闻稿称，陈琳琳（Linda Chen）因个人原因将辞任集团副总裁及其他相关职务。公司充分尊重其个人意愿，以上调整将于 2024 年 9 月 30 日正式生效
2024-07-26腾讯音乐，腾讯音乐娱乐集团，审计 -
红利资产遭遇5%暴跌，机构落袋为安？
7月26日，A股市场红利板块核心股票遭遇大幅下挫，引发市场广泛关注。中国移动等龙头股票一度跌幅超过5%
2024-07-26红利板块 -
苹果COO杰夫·威廉姆斯拜访富士康和领益智造
7月26日，苹果COO杰夫·威廉姆斯和苹果大中华区董事总经理葛越，拜访了位于广东的供应商富士康和领益智造。葛越的微博称，他们在富士康观澜看到了iPhone生产的最新进步。领益智造则为苹果全线产品提供数千种零组件，他们的制造实现了高度自动化
2024-07-26领益智造，富士康，苹果 -
意法半导体二季度净营收同比下降25.3%
7月26日，意法半导体公布2024年第二季度财报：净营收32.3亿美元，同比下降25.3%；毛利率40.1%，同比下降890个基点；营业利润率11.6%，净利润3.53亿美元
2024-07-26意法半导体，美元，预期 -
上证50指数日线9连阳后5连阴，11位基金经理发生任职变动
7月26日A股三大指数震荡收涨，截至收盘，沪指涨0.14%，报2890.9点，深成指涨1.45%，报8597.17点，创业板指涨0.92%，报1659.53点
2024-07-26基金经理 -
友讯达：公司具备国家电网公司最新标准的高、中、低端各类表型
每经AI快讯，有投资者在投资者互动平台提问：贵公司有AI智能电表设备吗 友讯达（300514.SZ）7月26日在投资者互动平台表示，公司具备国家电网公司最新标准的高、中、低端各类表型
2024-07-26友讯达，投资者，国家电网公司 -
长华集团：收到客户新能源车型项目定点通知书
长华集团公告，公司于近日收到了国内车企关于新能源新车型冲焊件、紧固件的定点通知书
2024-07-26长华集团，新能源，项目 -
A股重要变盘信号！近4500家收涨、核心红利股补跌 这一板块超预期大涨
7月26日，市场全天震荡反弹，深成指领涨。截至收盘，沪指涨0.14%，深成指涨1.45%，创业板指涨0.92%。 板块方面，家电、汽车拆解概念、商业航天、汽车整车等板块涨幅居前，银行、光伏设备、ST等板块跌幅居前
2024-07-26家电，以旧换新，设备更新 -
天铁股份：公司目前以“减振/震业务”和“锂化物新能源业务”两大业务作为主要发展方向
每经AI快讯，有投资者在投资者互动平台提问：看公司官网介绍现在贵公司已经开始做《1000JKW直接超大功率脉波快充充电桩》了
2024-07-26充电桩，投资者，公司
