揭秘Sora：用大语言模型的方法理解视频(2)
对于视频生成模型而言，块不仅包含了局部的空间信息，还包含了时间维度上的连续变化信息。模型可以通过学习patches之间的关系来捕捉运动、颜色变化等复杂视觉特征，并基于此重建出新的视频序列。这样的处理方式有助于模型理解和生成视频中的连贯动作和场景变化，从而实现高质量的视频内容生成。
OpenAI又在块的基础上，将其压缩到低维度潜在空间，再将其分解为“时空块”（spacetime patches）。
晕了是不是，别急，一个一个解释。潜在空间是一个3年前出现的概念，是指一个高维数据通过某种数学变换（如编码器或降维技术）后所映射到的低维空间，这个低维空间中的每个点通常对应于原始高维数据的一个潜在表示或抽象特征向量。但是呢，优化强大的扩散模型往往需要消耗数百个GPU日的计算资源，并且由于其序列评估性质，推理成本较高。因此，本质上来讲潜在空间，就是一个能够在复杂性降低和细节保留之间达到近乎最优的平衡点，极大地提升了视觉保真度。
时空块则是指从视频帧序列中提取出的、具有固定大小和形状的空间-时间区域。相较于块而言，时空块强调了连续性，模型可以通过时空块来观察视频内容随时间和空间的变化规律。
为了制造这些时空块，OpenAI训练了一个网络，用于降低视觉数据的维度，叫做视频压缩网络。这个网络接受原始视频作为输入，并输出一个在时间和空间上都进行了压缩的潜在表示。Sora在这个压缩后的潜在空间中进行训练和生成视频。同时，OpenAI还也训练了一个相应的解码器模型，用于将生成的潜在向量映射回像素空间。
热点推送
-
瀛通通讯旗下瀛德健康发布五大系列产品 挺进大健康赛道
1月18日，在湖北省通城县瀛德健康品牌战略发布会上，该公司生产的智能助听、科学助眠、智能呼吸、智能监测、智慧养护五大系列产品悉数登场
2025-01-20瀛通通讯，专利，德健 -
英伟达芯片被限 黄仁勋现身中国
美国发布芯片最强禁令之际，英伟达CEO黄仁勋来到中国，参加了深圳、北京两地的英伟达年会。与2024年相比，今年黄仁勋的行程显得更加低调，引发外界广泛关注
2025-01-20英伟达，黄仁勋，AI -
哈尔斯2024年扣非净利预增26.82%至58.34% 盈利能力显著提升
1月18日，浙江哈尔斯真空器皿股份有限公司（以下简称“哈尔斯”）发布了2024年度业绩预告自愿性披露公告，向市场传递了积极的业绩信号
2025-01-20哈尔斯，2024，提升 -
黄仁勋到访北京 传递了这些信息
英伟达创始人CEO黄仁勋于1月19日抵达北京。黄仁勋北京之行的一个重要议程是参加英伟达举办的迎春会，表达对中国市场的重视以及对合作伙伴及开发者的感谢与支持。目前，英伟达在中国拥有大约150万名开发者
2025-01-20英伟达，黄仁勋，AI -
极越善后进行时：领克承接维保、定损难将解决 车机OTA仍无进展
极越汽车加快善后。1月19日，一份极越车主代表会谈纪要（以下简称《纪要》）显示，目前极越车主、集度、吉利三方已就极越汽车售后、车主权益、车辆保险等问题持续推进
2025-01-20汽车，上海，国际 -
黄仁勋现身北京！称中国员工流失率全球最低 此前曾豪派现金红包
在深圳给员工发红包之后，英伟达CEO黄仁勋又现身北京。 1月19日，英伟达在北京举办迎新年会，公司创始人兼CEO黄仁勋出席并派发红包。在致辞中，黄仁勋表示，很多人不了解英伟达在中国已经深耕25年了，在北京、上海、深圳拥有近4000名员工
2025-01-20英伟达，黄仁勋，AI -
绿地集团张玉良：推进城市更新 盘活存量、优化增量
1月15日上午，上海市第十六届人民代表大会第三次会议开幕，市长龚正代表上海市人民政府作《政府工作报告》（以下简称《报告》）
2025-01-20绿地集团，张玉良，城市更新 -
天齐锂业：正在结合最新情况对氢氧化锂项目进行减值测试
天齐锂业(002466)1月19日晚间公告，公司分别于2016年和2017年启动了“年产2.4万吨电池级单水氢氧化锂”和“第二期年产2.4万吨电池级单水氢氧化锂项目”（以下合并简称“氢氧化锂项目”）
2025-01-20氢氧化锂，天齐锂业，公司 -
广东已基本实现“房地一体”宅基地“应登尽登”
近日，记者从广东省自然资源厅获悉，广东现已基本实现“房地一体”宅基地“应登尽登”，农村村民通过“粤省事”小程序就可以快速查询。 通俗地讲，“房地一体”就像给房子和土地办了一个“结婚证”，让它们成为一家人
2025-01-20宅基地，一体，房地 -
汽车“两新”补贴细则出炉 今年车市将迎超2300万辆增量空间
2025年“两新”政策细则落地。商务部等8部门近日发布的《关于做好2025年汽车以旧换新工作的通知》（以下简称《通知》）显示，在去年政策基础上，今年不仅将部分国四排放标准车辆纳入报废换新补贴范围，还明确置换更新补贴具体标准
2025-01-20乘用车，报废，汽车 -
中科星图发布低空新战略和星图低空云V1.0新品
1月18日，中科星图低空战略暨产品发布会在北京成功举办。会上，中科星图重磅发布低空新战略和星图低空云V1.0版本新产品
2025-01-20中科星图，低空，北京 -
停止在美服务、应用下架 一文看懂TikTok事件最新进展
暂别美国市场，是当下TikTok无奈的选择，最新消息显示TikTok已在美国停止服务，TikTok在苹果和谷歌应用商店也已下架。 TikTok在美国停止服务 当地时间1月17日，美国最高法院裁定支持短视频社交媒体平台TikTok在美禁令
2025-01-20TikTok，服务，美国 -
持续挖掘市场新需求 云涌科技2024年营收预增2.7%
1月18日，云涌科技披露2024年度业绩预告，预计2024年度实现收入2.9亿元到3.1亿元，与上年同期相比将增加764.13万元到2764.13万元，同比上升2.71%到9.79%；归属于母公司所有者的净利润-1100万元到-800万元
2025-01-202024，公司，净利润 -
拟总投资额55亿元 金诚信龙溪铜矿公布产量倍增计划
金诚信（603979.SH）四年前收购的Lonshi（下称，龙溪）铜矿，或迎来产量倍增，在本次拟投资55亿元开发东矿区达产后，该矿的铜年产量将由4万吨增长至10万吨
2025-01-20金诚信，项目，美元 -
环球一周前瞻：日本央行公布利率决议 特朗普或将再度影响市场
本周（1月13日-18日）美国核心CPI数据超预期降温重振美联储降息预期，美股财报季拉开帷幕，华尔街大行纷纷给出亮眼业绩，美股迎来显著反弹，美元下跌，非美货币反弹
2025-01-20日本央行，美元，加息 -
即将上任的美国国家安全顾问：计划于下周一重新上线TikTok
据报道，即将上任的美国国家安全顾问沃尔茨表示，美国当选总统特朗普团队正与科技公司合作，计划于下周一在美国重新上线TikTok。沃尔茨表示还表示，特朗普需要时间来解决TikTok问题
2025-01-20TikTok，服务，美国 -
黄仁勋亮相英伟达北京年会现场 称人工智能新时代已开始
AI（人工智能）芯片龙头英伟达CEO黄仁勋现身北京。 1月19日晚间，英伟达在北京举办迎新年会，英伟达创始人CEO黄仁勋出席并发表致辞
2025-01-20英伟达，黄仁勋，北京 -
九毛九发布2024年第四季度最新运营表现
1月17日，九毛九国际控股有限公司（以下简称“九毛九”）发布了2024年第四季度最新运营表现。 据九毛九披露，截至2024年12月31日，九毛九旗下共有807家门店，其中包括623家太二自营店，11家太二加盟店以及80家怂火锅等
2025-01-20九毛九，2024，同比 -
一批半导体龙头发业绩预告 机构最新发布：这四家上调评级！
本周58股获机构重点关注。据统计，本周（1月13日至1月17日），57家机构合计进行373次评级，共计211股被券商研报给予“买入型”评级（包括买入、增持、强烈推荐、推荐）
2025-01-20海光信息，半导体，北方华创 -
赚钱 “不分昼夜”！
“哎哟！白天忙得团团转，哪有时间顾得上理财啊？也就睡前有空看一看，以前总会错过申购时间，白瞎好几天的投资收益。现在有理财夜市，别人睡觉我赚钱，我们熬夜党的春天来了。”在北京打拼两年有余的上班族小张告诉记者
2025-01-20银行理财，理财夜市，理财产品 -
绿地GX360全球启幕暨宜车城签约发布盛典开幕
1月18日，“绿地GX360全球启幕暨宜车城签约发布盛典”在合肥绿地中央广场隆重举行，华为、特斯拉、蔚来、小米等一批新能源汽车产业核心品牌集中签约入驻
2025-01-20360，绿地，新能源汽车 -
南卫股份的多事之秋：将连续4年亏损 实控人此前遭立案 股价长年破发
南卫股份（603880）1月17日晚间披露2024年度业绩预告，预计2024年归母净利润亏损1.6亿元，上年同期亏损1.47亿元；扣非净利润亏损1.59亿元，上年同期亏损1.47亿元
2025-01-20南卫股份，2024，公司 -
宁德时代成全球最大储能项目首选电池储能系统供应商
近日，全球可再生能源和可持续城市发展的领导者马斯达尔（Masdar）宣布，宁德时代成功入选成为全球最大太阳能和电池联合储能项目——阿联酋RTC（round the clock）首选电池储能系统供应商
2025-01-20宁德时代，储能，项目 -
【图解牛熊股】机器人概念股持续活跃 半导体板块异动拉升
本周A股三大指数反弹拉升，其中上证指数本周涨2.31%，深成指涨3.73%，创业板指涨4.66%，本周市场成交量较上周略有放量。板块方面，本周半导体、能源金属板块涨幅居前，小红书、人形机器人、PCB概念股表现活跃
2025-01-20人形机器人，华为，机器人 -
省人大代表赵安波：加快制定生物多样性保护立法
生物多样性使地球充满生机，也是人类生存和发展的基础。如何更好地保护保护生物多样性，推进美丽河南及生态强省建设？1月19日，河南省人大代表、河南碧水源水处理有限公司董事长赵安波接受大河财立方记者采访
2025-01-20多样性，河南省，生物 -
官宣了！原海通证券董事长 履新
海通证券原董事长周杰辞职后，他的去向一直备受关注。 1月19日，记者注意到，上海国际集团官网已经正式挂网，周杰出任上海国际集团党委书记、董事长。 值得注意的是，国泰君安证券背后大股东正是上海国际集团
2025-01-20上海国际集团，海通证券，周杰 -
因会计差错问题 清水源及相关责任人收警示函
1月19日晚间，河南清水源科技股份有限公司（以下简称“清水源”）发布公告称
2025-01-20清水源，公司，王琳 -
迈瑞医疗现身JPM医疗大会：三大驱动力支持迈瑞走向全球
1月16日上午，迈瑞医疗董秘李文楣女士受邀参加摩根大通医疗健康会议（简称JPM大会），并作分享。李文楣表示，数智化创新、拓展耗材业务和加速全球化将成为迈瑞医疗中长期三大增长支柱
2025-01-20迈瑞医疗，李文楣，迈瑞 -
TikTok已在苹果和谷歌应用商店下架 字节跳动旗下部分应用亦在美国停服
TikTok暂停在美服务在冲击波正在延续。最新消息显示，美国苹果应用商店无法下载该应用；TikTok在美国谷歌应用商店也无法下载，网站不再显示视频。 据BNO新闻，美国用户收到TikTok通知，TikTok现在不可用
2025-01-20TikTok，服务，美国 -
东鹏控股与小红书、西卡德高以及中国建筑学会达成战略合作
近日，“以定制胜聚势成城”2025年东鹏瓷砖全国经销商峰会在广东肇庆召开。现场，广东东鹏控股股份有限公司（以下简称“东鹏控股”）与小红书平台、西卡德高以及中国建筑学会达成战略合作
2025-01-20东鹏控股，小红书，东鹏
