前几天,英伟达成为首家市值达到2万亿美金的芯片公司,创造了历史。同一时间,一家名为Groq的初创公司横空出世,扬言“三年之内赶超英伟达”。
Groq狠话的底气,来源于它所开发的芯片——LPU。
LPU的全称是Language Processing Unit,翻译过来就是语言处理单元,是一种新型AI加速器。在它的支持下,大模型的推理速度快得惊人,瞬间能输出长篇幅答案;而使用了英伟达芯片的GPT-4,只能一个字一个字往外蹦。
前者的响应速度最高可达到500T/S,而后者只有40T/S[1]。
这是什么概念?相当于一秒钟生成300个单词,7分钟生成一部《哈姆雷特》长度级的文章。
Groq背后的团队也可谓群星璀璨,公司CEO Jonathan Ross是谷歌初代TPU的设计者之一。早期谷歌TPU团队的10位成员中,8位都跳槽到了Groq。
自2016年成立,Groq就饱受市场关注。2020年,Groq的芯片被美国阿贡实验室采用。2021年,Groq获老虎环球基金等机构投资,估值超过10亿美元。
然而,Groq公司的各种“挑衅”,英伟达完全没放在眼里。相比之下,此前“奥特曼7万亿美元造芯”的新闻出来之后,黄仁勋至少还出来说了两句。
毕竟,眼下Groq的种种套路,老黄可再熟悉不过了。
文字游戏
当下,制约AI芯片发展的主要困境,是内存墙:内存的传输速度远远慢于处理器算力,导致性能迟迟上不去。
如果把芯片想象成一个餐厅,那么内存就是仓库,处理器就是后厨。
仓库送菜比后厨烹饪还慢,严重限制了餐厅的出菜速度。因此,包括英伟达在内的芯片厂商,都在围绕“仓库(内存)”做文章。而Groq碾压英伟达的秘诀,也藏在内存结构里。
传统计算机所使用的内存,其实有两种:
DRAM容量较大,但传输速度较慢,起主存作用;而SRAM容量较小,但传输速度极快,作为缓存发挥辅助作用。一直以来,二者都是合作关系,缺一不可。
但Groq为了追求极致的速度,摒弃了DRAM,让SRAM扛起了LPU主存大旗。
相当于砍掉距离厨房较远的大仓库,直接将所有食材都堆在厨房边的菜篮子里。这样的设计思路下,LPU不但在速度上形成降维打击,还轻松绕过了两个成本最高的技术:HBM和先进封装。
这也构成了Groq另一个大吹特吹的宣传核心:便宜。
根据Semi Analysis的拆解,LPU由于具备架构优势,物料成本仅为1050美元。相比之下,去年全球疯狂的H100芯片,物料成本则达到3700美元[2]。
在售价层面,一块LPU的价格是20000美元,远低于H100的35000美元。
但历史无数次告诉我们,大部分弯道超车的结局都是有田下山,LPU也不例外。
大模型对内存大小也有着很高的要求。参数量越大的模型,运行时所需要存储的数据也会更多。
SRAM虽然快,但缺陷是容量小,通常只有4-16MB。Groq研发团队多年苦心钻研,最终也只是将LPU的容量提升至230MB。而一块H100的内存容量是80GB,两者间差了约356倍。菜篮子再怎么升级换代,终究无法和仓库相提并论。
想装下所有的食材,唯一的办法就是把菜篮子数量堆上去。因此,在运行同样参数的模型时,需要用到的LPU数量就远远高于GPU。
前阿里技术副总裁贾扬清就算了一笔账:
以运行LLaMA 70b模型为例,需要572张LPU,售价1144万美元;但如果换成H100,其实只需要8张,总价格在30万美元左右——所谓的“便宜”压根不成立。
芯片一多,整体的功耗成本也直线上升。LPU每年至少消耗25.4万美元电费,而H100顶多花费2.4万美元。
事实证明,Groq的遥遥领先,只是隐去了核心信息的文字游戏。它所宣传的“高速”,是以近乎夸张的使用成本换来的:运行三年LLaMA 70b模型,LPU的使用成本将比英伟达的GPU高出32倍。
每经AI快讯,有投资者在投资者互动平台提问:你好董秘,请问公司最新升级的大模型能为公司带来利润吗? 岩山科技(002195.SZ)10月14日在投资者互动平台表示
2024-10-14岩山科技,公司,投资者根据立方招采通的最新数据,9月份河南省完成医疗器械及相关服务招标和中标项目共计572个,总金额规模高达约9.53亿元。与8月相比,9月招标项目数量环比下降26.3%,招标预算总额不降反升,增加6641.14万元
2024-10-14项目,中国建筑,综合新疆国统管道股份有限公司(002205)于2024年10月14日披露签订重大合同
2024-10-14合同,广西交投商贸,重大合同每经AI快讯,有投资者在投资者互动平台提问:请问贵公司拥有V2G技术,如果有,是否有相关产品推出? 永贵电器(300351.SZ)10月14日在投资者互动平台表示
2024-10-14永贵电器,投资者,2G每经AI快讯,10月14日,云中马公告,全资子公司浙江云中马智造有限公司拟与松阳县经济发展投资集团有限公司签署《云中马“时尚智造”产业园项目招商协议》
2024-10-14云中马,项目,产业基地时代周报从行业内部人士获悉,中国光伏行业协会于10月14日在上海召开“防止光伏行业内卷式恶性竞争座谈会”,时间为上午9:00至下午17:00
2024-10-14行业,竞争,光伏南方财经10月14日电,云中马公告,全资子公司浙江云中马智造有限公司拟与松阳县经济发展投资集团有限公司签署《云中马“时尚智造”产业园项目招商协议》
2024-10-14云中马,项目,产业基地中新网深圳10月14日电(记者索有为)记者从深圳市政府新闻办14日举行的新闻发布会上获悉,2024湾区半导体产业生态博览会将于10月16日至18日在深圳会展中心举办,旨在促进大湾区要素汇聚融通,树立产业发展“风向标”
2024-10-14半导体,集成电路,产业【大河财立方消息】10月14日消息,石家庄市栾城农村信用合作联社因印章风险防控机制不健全、贷后管理不到位日前被国家金融监督管理总局河北监管局处罚款140万元
2024-10-14石家庄市,贷后管理,栾城每经AI快讯,有投资者在投资者互动平台提问:OCSIAL塞尔维亚项目即将投产,产能大幅提升,同时宣告中国合作伙伴上海海逸、沈阳汇晶大幅度扩产浆料
2024-10-14公司,项目,天奈科技财中社10月14日电 上海建工(600170)发布公告,宣布为15家子公司和1家合营企业提供合计17.8亿元的担保。这些被担保方并不属于公司的关联方,确保了担保的独立性
2024-10-14担保,上海建工,公司苏常柴A10月14日晚间发布业绩预告,预计2024年前三季度归属于上市公司股东的净利润4000万元~5000万元,同比下降68.13%~74.5%;基本每股收益0.0567元~0.0709元
2024-10-14苏常柴,净利润,2024每经AI快讯,有投资者在投资者互动平台提问:请问房地产行业的景气度,是否对公司业绩产生重大影响?谢谢! 浩辰软件(688657.SH)10月14日在投资者互动平台表示,公司下游客户行业分布广泛
2024-10-14浩辰软件,电力,电子上证报记者史丽摄 上证报中国证券网讯(记者陈芳)海关总署副署长王令浚10月14日在国新办新闻发布会上表示,今年还有最后三个月,当前外部环境更趋复杂严峻,经济体持续增长动能不足
2024-10-14王令浚,外贸,海关总署药康生物(SH 688046,收盘价:12.95元)10月14日晚间发布公告称,公司2024年半年度业绩说明会定于2024年10月22日下午16:00-17:00,以上证路演中心网络互动的形式进行
2024-10-14药康生物,业绩,说明财中社10月14日电 震裕科技(300953)发布公告,控股股东及实际控制人的一致行动人宁波震裕新能源有限公司和宁波聚信投资合伙企业于2024年10月9日至11日期间,通过大宗交易方式减持“震裕转债”126万张
2024-10-14一致行动人,控股股东,震裕科技每经AI快讯,有投资者在投资者互动平台提问:公司明年有哪些项目量产?预计增量大概有多少? 精进电动(688280.SH)10月14日在投资者互动平台表示,年底和明年公司会投产配套广汽和奇瑞的一些新产品
2024-10-14精进电动,广汽,公司财中社10月14日电 五洋自控(300420)发布公告,控股股东、实际控制人之一蔡敏女士于2024年10月11日解除质押3975万股股份,占其所持股份比例为39.9%,占公司总股本比例为3.6%
2024-10-14蔡敏,五洋自控,质押掌握热点资讯,跟踪行情异动!用东方财富就够了 今天,市场探底回升。截至收盘,沪指涨2.07%,深成指涨2.65%,创业板指涨2.60%。板块方面,华为概念、软件开发、军工装备、化债概念等板块涨幅居前,无下跌板块
2024-10-14鸿蒙,开源,华为山西兰花科技创业股份有限公司(600123)于2024年10月15日披露所属化工分公司停产
2024-10-14兰花科创,化工,尿素当前,A股市场火爆,生物医药板块备受关注。 数据显示,截至10月14日收盘,申万医药生物板块上涨1.31%,成交额911亿元,近400只医药股上涨
2024-10-14公司,中信建投,医药生物每经AI快讯,有投资者在投资者互动平台提问:董秘,您好!华为云发布AI原生云基础设施架构CloudMatrix,请问贵公司与该架构有何联系? 恒为科技(603496.SH)10月14日在投资者互动平台表示
2024-10-14恒为科技,CloudMatrix,投资者每经AI快讯,有投资者在投资者互动平台提问:您好,公司有在运营的西北风光火储大基地吗?蒙西计划建设的大基地的电价是按照京津冀的燃煤标杆电价结算的吗?谢谢 三峡能源(600905.SH)10月14日在投资者互动平台表示
2024-10-14三峡能源,京津冀,蒙西每经AI快讯,有投资者在投资者互动平台提问:请问,贵公司研发的:无人机反干扰接管项目,进展如何? 航天南湖(688552.SH)10月14日在投资者互动平台表示,公司主要围绕低空探测及低空安全管控等相关市场需求开展低空探测产品和系统的研发
2024-10-14航天南湖,低空,投资者2024年10月14日,凯盛科技(600552.SH)公告称,公司董事会于10月14日收到副总经理王永和的书面辞职报告
2024-10-14王永和,凯盛科技,副总经理财中社10月14日电 兰花科创(600123)发布公告,因晋城市生态环境保护委员会的通知,所属化工分公司将于2024年10月15日至2025年1月12日停产,停产时间为90天
2024-10-14兰花科创,化工,尿素每经AI快讯,有投资者在投资者互动平台提问:请问中国电影在知识产权方面有哪些布局?谢谢 中国电影(600977.SH)10月14日在投资者互动平台表示,公司聚焦主营业务发展,已形成较为完备的知识产权管理体系
2024-10-14电影,影片,重庆上海实业发展股份有限公司于2024年10月14日发布董事会决议显示,徐槟聘任为公司总裁
2024-10-14上实发展,总裁,徐槟10月14日,快手头部主播辛巴在沉默了三十多天后宣布即将回归,并通过发布视频透露他将于10月19日上午10点开启新一轮直播
2024-10-14掌握热点资讯,跟踪行情异动!用东方财富就够了 恒瑞医药(600276)10月14日晚间公告,近日,公司的HR19042胶囊被国家药监局药品审评中心纳入突破性治疗品种名单。HR19042胶囊为口服肠溶缓释胶囊,可选择性发挥肝脏抗炎作用
2024-10-14恒瑞医药,19042,胶囊