前几天,英伟达成为首家市值达到2万亿美金的芯片公司,创造了历史。同一时间,一家名为Groq的初创公司横空出世,扬言“三年之内赶超英伟达”。
Groq狠话的底气,来源于它所开发的芯片——LPU。
LPU的全称是Language Processing Unit,翻译过来就是语言处理单元,是一种新型AI加速器。在它的支持下,大模型的推理速度快得惊人,瞬间能输出长篇幅答案;而使用了英伟达芯片的GPT-4,只能一个字一个字往外蹦。
前者的响应速度最高可达到500T/S,而后者只有40T/S[1]。
这是什么概念?相当于一秒钟生成300个单词,7分钟生成一部《哈姆雷特》长度级的文章。
Groq背后的团队也可谓群星璀璨,公司CEO Jonathan Ross是谷歌初代TPU的设计者之一。早期谷歌TPU团队的10位成员中,8位都跳槽到了Groq。
自2016年成立,Groq就饱受市场关注。2020年,Groq的芯片被美国阿贡实验室采用。2021年,Groq获老虎环球基金等机构投资,估值超过10亿美元。
然而,Groq公司的各种“挑衅”,英伟达完全没放在眼里。相比之下,此前“奥特曼7万亿美元造芯”的新闻出来之后,黄仁勋至少还出来说了两句。
毕竟,眼下Groq的种种套路,老黄可再熟悉不过了。
文字游戏
当下,制约AI芯片发展的主要困境,是内存墙:内存的传输速度远远慢于处理器算力,导致性能迟迟上不去。
如果把芯片想象成一个餐厅,那么内存就是仓库,处理器就是后厨。
仓库送菜比后厨烹饪还慢,严重限制了餐厅的出菜速度。因此,包括英伟达在内的芯片厂商,都在围绕“仓库(内存)”做文章。而Groq碾压英伟达的秘诀,也藏在内存结构里。
传统计算机所使用的内存,其实有两种:
DRAM容量较大,但传输速度较慢,起主存作用;而SRAM容量较小,但传输速度极快,作为缓存发挥辅助作用。一直以来,二者都是合作关系,缺一不可。
但Groq为了追求极致的速度,摒弃了DRAM,让SRAM扛起了LPU主存大旗。
相当于砍掉距离厨房较远的大仓库,直接将所有食材都堆在厨房边的菜篮子里。这样的设计思路下,LPU不但在速度上形成降维打击,还轻松绕过了两个成本最高的技术:HBM和先进封装。
这也构成了Groq另一个大吹特吹的宣传核心:便宜。
根据Semi Analysis的拆解,LPU由于具备架构优势,物料成本仅为1050美元。相比之下,去年全球疯狂的H100芯片,物料成本则达到3700美元[2]。
在售价层面,一块LPU的价格是20000美元,远低于H100的35000美元。
但历史无数次告诉我们,大部分弯道超车的结局都是有田下山,LPU也不例外。
大模型对内存大小也有着很高的要求。参数量越大的模型,运行时所需要存储的数据也会更多。
SRAM虽然快,但缺陷是容量小,通常只有4-16MB。Groq研发团队多年苦心钻研,最终也只是将LPU的容量提升至230MB。而一块H100的内存容量是80GB,两者间差了约356倍。菜篮子再怎么升级换代,终究无法和仓库相提并论。
想装下所有的食材,唯一的办法就是把菜篮子数量堆上去。因此,在运行同样参数的模型时,需要用到的LPU数量就远远高于GPU。
前阿里技术副总裁贾扬清就算了一笔账:
以运行LLaMA 70b模型为例,需要572张LPU,售价1144万美元;但如果换成H100,其实只需要8张,总价格在30万美元左右——所谓的“便宜”压根不成立。
芯片一多,整体的功耗成本也直线上升。LPU每年至少消耗25.4万美元电费,而H100顶多花费2.4万美元。
事实证明,Groq的遥遥领先,只是隐去了核心信息的文字游戏。它所宣传的“高速”,是以近乎夸张的使用成本换来的:运行三年LLaMA 70b模型,LPU的使用成本将比英伟达的GPU高出32倍。
当然,Groq的研发团队,显然对此心知肚明。选择此时大张旗鼓,更像是一种拉投资的举动。
事实上,这已经不是Groq第一次公开“蹭热度”了。
之前GPT Store刚发布时,Groq给OpenAI的奥特曼发了一封信,嘲笑使用GPTs跟在“深夜读《战争与和平》一样缓慢”。马斯克的聊天机器人Grok发布时,它也跑去贴脸嘲讽,质疑Grok抄袭了自己的名字。
过去几年,打着“替代英伟达”旗号的初创公司数不胜数,Groq只不过是其中之一。目前,在超车英伟达的这条弯道,已经出现了严重塞车。
前车之鉴
Groq最直观的参考样本,来自英国公司Graphcore。
Graphcore诞生之初,也曾拿着“技术路线别出心裁、演示视频酷炫惊艳、性能数据秒杀同行”的剧本,拳头产品IPU与Groq的LPU设计思路异曲同工,也是用高速的SRAM取代DRAM作为芯片内存,以实现极致的传输性能。
同时,Graphcore调整了芯片架构,专注于处理高性能计算。
它曾颇有自知之明地表示“不与英伟达直接竞争”,只将目标客户定位在,特别需要大量高性能计算的化学材料和医疗等特殊领域。
Graphcore的两位创始人
2019年,微软成为Graphcore首款IPU的大客户。2020年5月,微软科学家将IPU内置于微软Azure操作系统中,用于识别胸部X光片。这位科学家说道:
“Graphcore芯片可以在30分钟内完成,GPU需要5个小时才能完成的工作。”
在最风光的2016至2020年间,Graphcore共拿到了7.1亿美元融资,估值高达27.7亿美元,一度被视为全英国乃至欧洲全村的希望。Graphcore的投资者不仅有微软、三星、戴尔等科技巨头,也囊括了红杉资本、柏基投资等顶级风投。
相比今天的Groq,当年的Graphcore只能说有过之无不及。但Graphcore的后续发展却远远不及当时的预期。
2022年,Graphcore全年营收只有270万美元,为英伟达同期收入的万分之一,且相较前一年下降46%,亏损达到了2亿美元。2023年,人工智能浪潮爆发,英伟达业绩再度暴涨。H100一卡难求之时,Graphcore以为自己至少能捡到英伟达的漏,结果却连汤都没喝着。
去年,Graphcore的创始人Nigel Toon向英国首相写了篇“公开信”,讨要补贴。
他写道,“Graphcore已经为英国预留了多达3000个IPU芯片,可以为整个国家提供服务”,几乎已经是明示要钱[4]。
不久前,一面业绩亏损,一面融资无果的Graphcore走向了最后一条路: 寻求收购。 根据The Telegraph爆料,其售价可能在5亿多美元——不到2020年最高估值时期的五分之一[5]。
当年,以Graphcore为首的挑战者们,各怀绝学,来势汹汹,颇有一种八大门派围攻光明顶的既视感。然而,如今多已散作鸟兽状。
去年3月,芯片公司Mythic一度因资金耗尽而濒临倒闭,快要淹死之际,才好不容易等到了救命缰绳,拿到了1300万美元融资。
另一家芯片公司Blaize也出现了类似的困境,最后靠着中东土豪的投资,才活了下来。
剩下的公司中,Habana可能是唯一活得不错的——它被英特尔以20亿收购,保留了独立运营的权利。
从Graphcore到Mythic,这些芯片公司的技术路线各不相同;然而,它们失败的原因,却出奇一致。事实上,今天大火的Groq,同样也极有可能倒在同一个地方:
芯片卖不出去。
真正的护城河
英伟达的GPU固然厉害,但它卖芯片的套路,才是真正的护城河。
每年,英伟达都会投入相当一部分的研发经费,围绕GPU搭建系统性能力。当然,这是高情商的说法,低情商的说法是开发一起“捆绑销售”的产品——这才是英伟达最坚实的城墙。目前,英伟达的城墙共有3层:
第一层城墙,是CUDA的编程生态。
众所周知,GPU最初的使用场景是游戏与视频图像渲染。早期,一些华尔街精英偶尔利用GPU的并行计算能力来跑交易,但由于需要重新编写大量代码,因此并未广泛传播开来。
黄仁勋坚信GPU能用于更多领域,因此在2006年推出了降低编程门槛的软件架构CUDA,和自家GPU捆绑推出。
后来,苹果和AMD都推出了类似平台,但此时CUDA生态早已构建,在“用得人越多,CUDA越好用,新开发者越倾向于选择CUDA”的良性循环中稳定前进。
如今,CUDA可以让英伟达GPU的使用成本大幅降低。
一位私有云CEO曾在接受采访时说过,理论上AMD卡也不是不能用,但要把这些卡调试到正常运转,需要多耗费两个月[6]——找谁下单,答案不言而喻。
2017年,英伟达甚至向AI研究员赠送了V100芯片
第二层城墙,是NV-Link的高速传输。
一个数据中心,不可能只使用一块AI芯片。然而,如果将2块AI芯片连在一起,那么实际算力必然会小于2,因为数据传输的速度慢于芯片算力,且过程中还存在损耗。
显然,在GPU数量迅速膨胀的数据中心内,解决数据传输问题其关键。
2016年,英伟达为IBM服务器提供GPU时,首次用上了自研的NVLink技术,带宽高达80G/s,通信速度提高了5倍,性能提升了14%,好评不断。此后几年,英伟达一边迭代NVLink技术,一边规定该技术必须绑定自家芯片使用。
套路虽然简单直白,但就是有效。
而第三层城墙,则是英伟达的“铁杆好兄弟联盟”。
过去一年,英伟达是全球最主要的人工智能投资人之一,活跃程度甚至超过了a16z和红杉等顶级投资机构。
据外媒统计,英伟达去年至少有35笔人工智能投资,包括:由前DeepMind联合创始人创办的Inflection AI,欧洲人工智能独角兽Mistral,世界最大的开源模型社区Hugging Face等等[7]。
Inflection AI创始人苏莱曼
积极投资的目的,其实很简单:当黄仁勋提着美金和H100芯片,敲开这些公司的大门,没有人会再拒绝英伟达。
这所有的一切,足以让市面上绝大多数公司,都绑死在英伟达的船上。
面对性能强大的英伟达GPU,各路初创公司们或许有办法,打造出性能相匹敌的产品。然而。英伟达卖芯片的套路,却让这些公司始终难以招架。因此,Graphcore等挑战者的失败,真的不是不努力。
当眼下的炒作逐渐回归寂静,Groq也得思考相同的问题:到底谁会翻过三座大山,来买LPU?
尾声
2月23日,英伟达市值突破2万亿美元。距离上一个1万亿,仅仅过了9个月。
Groq的爆火,让市场又一次开始讨论同一个问题:到底有没有人能叫板英伟达?
遗憾的是,英伟达远比人们想象的要强大。人工智能浪潮给芯片行业提供了一块大蛋糕,英伟达并没有分的意思,而是整个端走塞进了口袋。
芯片初创公司Mythic的CEO曾愤然表示,人工智能火了,他们却更难融资了,就是英伟达“搞坏了大环境”。
根据PitchBook数据,截至2023年8月底,美国芯片初创企业融资8.814亿美元,约为2022年同期的一半。交易数量的变化则更加触目惊心:从23宗减少到了4宗[8]。
Graphcore、Mythic的前车之鉴历历在目,所以也不怪Groq跟大家玩儿文字游戏。面对这么一个“汤都不给喝”的庞然大物,Groq又能怎么办呢?
每经AI快讯,有投资者在投资者互动平台提问:公司有没有生产三氯蔗糖? 粤桂股份(000833.SZ)9月6日在投资者互动平台表示,您好。公司未生产三氯蔗糖,谢谢
2024-09-06三氯蔗糖,粤桂股份,投资者每经AI快讯,有投资者在投资者互动平台提问:请问贵公司,三折叠柔性屏幕的生产,是否已有报样并通过?是否已具备量产能力? 维信诺(002387.SZ)9月6日在投资者互动平台表示,公司在折叠领域储备较多领先技术
2024-09-06维信诺,投资者,折叠南方财经9月6日电,深圳华强今日涨停,成交额45.47亿元,换手率10.73%,盘后龙虎榜数据显示,陈小群席位净卖出1.10亿元,二机构专用席位净卖出1.16亿元
2024-09-06深圳华强,涨停,交易日每经AI快讯,有投资者在投资者互动平台提问:董秘你好,半年报公司又计提了3400余万坏账,是什么原因造成的这些坏账?都是那些公司欠钱不给的?为何别的零部件公司没有这么多坏账? 亚通精工(603190.SH)9月6日在投资者互动平台表示
2024-09-06公司,亚通精工,投资者每经AI快讯,贵广网络在投资者互动平台表示,公司在网络传输领域、广电5G建设、FTTR等方面与华为开展友好合作,同时公司通过中广电移动网络有限公司代理销售华为手机
2024-09-06华为,手机,市场每经AI快讯,有投资者在投资者互动平台提问:董秘你好,请问注销工作到底到哪一步了?公告已5月有余,为何迟迟不予注销
2024-09-06供销大集,投资者,公司每经AI快讯,9月6日,川能动力公告称,其控股子公司四川省能投风电开发有限公司所属能投风电通江公司收到四川省发展和改革委员会关于巴中通江兴隆风电项目核准的批复
2024-09-06风电,川能动力,项目伟时电子发布异动公告,公司关注到有媒体对于VR相关的报道,公司自身不生产VR终端产品;公司关注到有媒体对于空中成像相关的报道,经自查,公司不生产空中成像的相关产品,敬请广大投资者注意投资风险
2024-09-06VR,伟时电子,公司每经AI快讯,有投资者在投资者互动平台提问:你们在上海有竞争对手吗?除了上海地区还有谁能跟你们竞争
2024-09-06航空运输,上海机场,铁路运输海南椰岛在互动平台表示,公司未持有离岛免税许可,根据公司聚焦酒类主业发展的战略调整,跨境电商业务已停业
2024-09-06海南椰岛,许可,跨境电商业务特斯拉及其首席执行官马斯克从不缺乏外界的关注。9月5日,“马斯克1.5亿美元在北京买房”的消息在网上盛传。消息称,马斯克购买了北京市朝阳区霄云路8号的空中四合院
2024-09-06特斯拉,涨幅,扩大每经AI快讯,有投资者在投资者互动平台提问:国投种业是否会注入相应资产到丰乐种业? 丰乐种业(000713.SZ)9月6日在投资者互动平台表示,截至目前公司未接到控股股东国投种业拟向公司注入资产的相关信息
2024-09-06丰乐种业,公司,投资者证券时报网讯,法拉第未来美股盘前一度大涨超28%,截至发稿,盘前涨幅有所收窄,仍涨近20%。消息面上,法拉第未来宣布,该公司已从中东、美国和亚洲的投资者那里获得3000万美元融资承诺
2024-09-06法拉第未来,美元,融资每经AI快讯,有投资者在投资者互动平台提问:你好,请问贵公司生产硅微粉所用的原材料是天然石英还是石英砂?若是石英砂,能否告知生产硅微粉所用石英砂的纯度和粒度要求
2024-09-06雅克科技,石英砂,电子昨晚的世预赛过后,中国男足和爱奇艺双双陷入舆论风暴。 国足0:7惨败日本,央视称未直播因版权报价畸高 北京时间9月5日晚,2026世界杯预选赛亚洲区18强赛C组首轮,中国队客场0:7不敌日本队
2024-09-06版权,赛事,世界杯每经AI快讯,9月6日,洪城环境公告,公司全资子公司洪城环保收到《中标通知书》,确定其为“乐平市主城区水环境综合治理厂网一体化一期工程特许经营权出让项目”中标单位。项目总投资3.59亿元,特许经营期限为40年
2024-09-06洪城环境,环保,项目每经AI快讯,有投资者在投资者互动平台提问:公司有空中成像产品和技术吗? 锋尚文化(300860.SZ)9月6日在投资者互动平台表示,公司一直在密切关注前沿技术的发展趋势,并会根据市场需求和公司发展战略适时调整技术研发方向
2024-09-06锋尚文化,技术,公司口子窖9月6日公告,刘安省通过大宗交易的方式向徐进共转让公司股份650万股,占目前公司总股本的1.08%,转让总金额为2.16亿元。徐进和刘安省为公司实际控制人及一致行动人。属于实控人及一致行动人内部持股调整,不涉及向市场减持
2024-09-06口子窖,一致行动人,刘安省每经AI快讯,有投资者在投资者互动平台提问:请问贵公司产品能否应用于折叠屏?谢谢。 裕兴股份(300305.SZ)9月6日在投资者互动平台表示,公司主营产品是功能性聚酯薄膜,广泛应用于新能源、电子通讯、电气绝缘等工业领域
2024-09-06电子,裕兴股份,产品每经AI快讯,有投资者在投资者互动平台提问:董秘先生,根据中报披露,公司流转到手的耕地高达6万多亩,请问这海量的耕地对于公司3万头肉牛来说
2024-09-06种植,玉米,公司每经AI快讯,有投资者在投资者互动平台提问:请问贵公司的产品是否应用到自动驾驶上面? 协和电子(605258.SH)9月6日在投资者互动平台表示,感谢您的关注
2024-09-06协和电子,汽车电子,投资者每经AI快讯,有投资者在投资者互动平台提问:请问:贵司子公司北京国联和各大银行和中国移动等合作是否有开展和加强基础算力等合作,请介绍一下? 吴通控股(300292.SZ)9月6日在投资者互动平台表示
2024-09-06吴通控股,银行,投资者每经AI快讯,有投资者在投资者互动平台提问:董秘你好,请问贵公司的毛利率比同行业各高端白酒企业高出10个百分点,是有什么原因吗? 泸州老窖(000568.SZ)9月6日在投资者互动平台表示,公司的毛利率并非同行业最高水平
2024-09-06泸州老窖,毛利率,投资者湖南天雁(SH 600698,收盘价:3.94元)9月6日晚间发布公告称,公司2024年半年度业绩说明会定于2024年09月19日上午11:00-12:00,以上证路演中心网络互动的形式进行
2024-09-06湖南天雁,业绩,说明英国政府周五表示, 将向乌克兰提供 650 枚轻型多用途导弹,价值 1.62 亿英镑(2.13 亿美元)
2024-09-06乌克兰,英国,无人机每经AI快讯,有投资者在投资者互动平台提问:进入9月份,股价怎么就下跌这么快啊?是公司出了问题吗?后面有市值维护吗? 宁波精达(603088.SH)9月6日在投资者互动平台表示,公司目前生产经营状态正常
2024-09-06宁波精达,投资者,公司每经AI快讯,有投资者在投资者互动平台提问:请问公司是否在使用类似九思软件智联管理大模型这样的智能化平台来进一步提升工作效率和管理水平呢? 天禄科技(301045.SZ)9月6日在投资者互动平台表示,公司积极应用办公自动化软件
2024-09-06天禄科技,工作效率,公司为什么说中国高铁列车是节能、绿色、环保的交通工具? 中国高铁列车在节能方面突出表现为:一是控制牵引能耗。车体使用轻质复合材料,外形采用流线形头型、下沉式受电弓等减阻技术,车体质量轻、运行阻力小。二是控制制动能耗
2024-09-06中国高铁,列车,节能每经AI快讯,9月6日,美股科技股盘前普跌,博通绩后大跌超9%,英伟达、超微电脑、ARM跌超2%
2024-09-06超微电脑,英伟达,ARM每经AI快讯,9月6日,昱能科技公告,公司股东嘉兴汇英拟通过集中竞价或大宗交易方式合计减持其所持有的公司股份不超过150万股,减持比例合计不超过公司目前股份总数的0.96%
2024-09-06昱能科技,减持,公司