前几天,英伟达成为首家市值达到2万亿美金的芯片公司,创造了历史。同一时间,一家名为Groq的初创公司横空出世,扬言“三年之内赶超英伟达”。
Groq狠话的底气,来源于它所开发的芯片——LPU。
LPU的全称是Language Processing Unit,翻译过来就是语言处理单元,是一种新型AI加速器。在它的支持下,大模型的推理速度快得惊人,瞬间能输出长篇幅答案;而使用了英伟达芯片的GPT-4,只能一个字一个字往外蹦。
前者的响应速度最高可达到500T/S,而后者只有40T/S[1]。
这是什么概念?相当于一秒钟生成300个单词,7分钟生成一部《哈姆雷特》长度级的文章。
Groq背后的团队也可谓群星璀璨,公司CEO Jonathan Ross是谷歌初代TPU的设计者之一。早期谷歌TPU团队的10位成员中,8位都跳槽到了Groq。
自2016年成立,Groq就饱受市场关注。2020年,Groq的芯片被美国阿贡实验室采用。2021年,Groq获老虎环球基金等机构投资,估值超过10亿美元。
然而,Groq公司的各种“挑衅”,英伟达完全没放在眼里。相比之下,此前“奥特曼7万亿美元造芯”的新闻出来之后,黄仁勋至少还出来说了两句。
毕竟,眼下Groq的种种套路,老黄可再熟悉不过了。
文字游戏
当下,制约AI芯片发展的主要困境,是内存墙:内存的传输速度远远慢于处理器算力,导致性能迟迟上不去。
如果把芯片想象成一个餐厅,那么内存就是仓库,处理器就是后厨。
仓库送菜比后厨烹饪还慢,严重限制了餐厅的出菜速度。因此,包括英伟达在内的芯片厂商,都在围绕“仓库(内存)”做文章。而Groq碾压英伟达的秘诀,也藏在内存结构里。
传统计算机所使用的内存,其实有两种:
DRAM容量较大,但传输速度较慢,起主存作用;而SRAM容量较小,但传输速度极快,作为缓存发挥辅助作用。一直以来,二者都是合作关系,缺一不可。
但Groq为了追求极致的速度,摒弃了DRAM,让SRAM扛起了LPU主存大旗。
相当于砍掉距离厨房较远的大仓库,直接将所有食材都堆在厨房边的菜篮子里。这样的设计思路下,LPU不但在速度上形成降维打击,还轻松绕过了两个成本最高的技术:HBM和先进封装。
这也构成了Groq另一个大吹特吹的宣传核心:便宜。
根据Semi Analysis的拆解,LPU由于具备架构优势,物料成本仅为1050美元。相比之下,去年全球疯狂的H100芯片,物料成本则达到3700美元[2]。
在售价层面,一块LPU的价格是20000美元,远低于H100的35000美元。
但历史无数次告诉我们,大部分弯道超车的结局都是有田下山,LPU也不例外。
大模型对内存大小也有着很高的要求。参数量越大的模型,运行时所需要存储的数据也会更多。
SRAM虽然快,但缺陷是容量小,通常只有4-16MB。Groq研发团队多年苦心钻研,最终也只是将LPU的容量提升至230MB。而一块H100的内存容量是80GB,两者间差了约356倍。菜篮子再怎么升级换代,终究无法和仓库相提并论。
想装下所有的食材,唯一的办法就是把菜篮子数量堆上去。因此,在运行同样参数的模型时,需要用到的LPU数量就远远高于GPU。
前阿里技术副总裁贾扬清就算了一笔账:
以运行LLaMA 70b模型为例,需要572张LPU,售价1144万美元;但如果换成H100,其实只需要8张,总价格在30万美元左右——所谓的“便宜”压根不成立。
芯片一多,整体的功耗成本也直线上升。LPU每年至少消耗25.4万美元电费,而H100顶多花费2.4万美元。
事实证明,Groq的遥遥领先,只是隐去了核心信息的文字游戏。它所宣传的“高速”,是以近乎夸张的使用成本换来的:运行三年LLaMA 70b模型,LPU的使用成本将比英伟达的GPU高出32倍。
茂化实华(SZ000637,前收盘价3.82元,市值19.86亿元)在2024年12月27日披露的公告中暴露出一个令人震惊的事实:由于“工作疏忽”,导致2023年度审计机构中兴财光华事务所项目质量控制复核人谢中梁的信息披露与实际情况不一致
2024-12-30茂化实华,公司,工作当地时间12月30日6时37分,由韩国首尔金浦机场出发飞往济州的济州航空7C101航班在起飞后不久发现起落架出现异常,济州航空在向搭乘该航班的161名乘客说明相关情况后随即返航,据央视新闻报道,该航班于7时25分再次降落金浦机场
2024-12-30航空,下跌,济州2024年12月30日,中电电机(603988.SH)披露了关于股东股份解除质押和办理质押的公告。 截至本公告日,王建裕持有公司股份数量为37928294股,占公司总股本比例为16.13%
2024-12-30公司,本次,项目每经AI快讯,港股港口运输股盘中震荡,天津港发展(03382.HK)涨超3%,东方海外国际(00316.HK)涨超1.5%,中远海运(00517.HK)、中远海控(01919.HK)均涨超1%
2024-12-30天津港发展,HK,03382牵动着国内医药生物企业及有关资本市场投资者心绪的美国生物法案终于以利于企业发展的“阶段性胜利”收尾
2024-12-30金凯生科,CDMO,企业受私有化利好刺激,VESYNC(02148.HK)今日一度涨近30%。截至发稿,涨26.19%,报5.30港元。 根据公开资料,VESYNC从事小家电线上市场。该公司专注于线上营销及销售自主设计开发的小家电及智能家居设备
2024-12-30VESYNC,小家电,股份今日,铜缆高速连接概念再度迎来拉升,板块涨幅位居前列,截至发稿,板块涨幅2.48%。 个股方面,博创科技涨幅超过10%,续创历史新高。宝胜股份表8个交易日内录得第5个涨停板,累计涨幅高达46.92%
2024-12-30算力,高速,连接2024年12月27日,天圣制药集团股份有限公司(证券代码:002872,证券简称:ST 天圣)发布公告,拟对参股公司重庆医药集团长圣医药有限公司(以下简称 “长圣医药”)进行增资
2024-12-30医药,公司,增资12月30日,天利科技股价大幅下跌,早盘一度跌超7%
2024-12-30天利科技,公司,天津智汇每经AI快讯,据禾赛科技官微消息,禾赛科技12月激光雷达交付量突破10万台,成为全球首个达成单月交付量超过10万台的激光雷达企业
2024-12-30激光雷达,禾赛科技,交付2024年以来,新能源汽车产销两旺,乘联会数据显示,新能源汽车渗透率已连续5个月突破50%。12月是车企冲刺全年销量的关键阶段,借助以旧换新政策的刺激作用,车市火爆行情有望延续。 伴随新能源汽车市场的持续成长,动力电池发展空间仍然可期
2024-12-30电池,专利,所述每经AI快讯,12月30日,截至发稿,优必选 (09880.HK)跌23.49%
2024-12-30优必选,周剑,一致行动2024年12月30日,湖北凯龙化工集团股份有限公司(证券代码:002783,证券简称:凯龙股份)发布公告称,公司于 2024 年 12 月 28 日接到实际控制人荆门市人民政府国有资产监督管理委员会(以下简称 “荆门市政府国资委”)通知
2024-12-30凯龙股份,国资委,中荆投资控股集团有限公司2024年12月29日,韵达控股集团股份有限公司(证券代码:002120,证券简称:韵达股份)发布公告称,公司控股股东上海罗颉思投资管理有限公司将持有的 30,000,000 股公司股份办理了质押手续
2024-12-30上海,质押,公司2024年12月30日,维康药业(300878.SZ)公告称,公司及实际控制人刘忠良于2024年12月27日收到中国证监会下发的《立案告知书》,因涉嫌信息披露违法违规,中国证监会决定对公司及刘忠良立案
2024-12-30维康药业,公司,刘忠良2024年12月30日,海亮股份(002203.SZ)公告称,公司与万州经开集团、金龙集团签署框架协议,拟以现金方式受让万州经开集团所持金龙集团部分股份,受让完成后,海亮股份持有金龙集团股份比例不低于20%
2024-12-30海亮股份,集团,万州经开12月30日,韩国济州航空开盘股价大幅跳水,一度跌近16%,最低下探至6920韩元。截至发稿时,济州航空跌8.40%,报7520韩元
2024-12-30航空,下跌,济州尽管港股多数调整,但是思摩尔国际(06969.HK)逆势走强。截至发稿,涨15.98%,报13.06港元
2024-12-30思摩尔国际,HNB,购股权新华财经上海12月30日电 12月30日,讯飞医疗(02506.HK)在港交所主板正式挂牌上市,发行价为每股82.8港元。讯飞医疗作为科大讯飞(002230.SZ)旗下的控股子公司,专注于医疗人工智能技术的研发与应用
2024-12-30医疗,港元,02506市场进入“跨年”交易,“红利”资产悄然回归。相关指数自11月逐级走高后,截至12月27日收盘的近一个月内累计涨幅超过6%,近乎同期沪深300指数涨幅的两倍
2024-12-30红利,资产,分红中国网财经12月30日讯日前,晶华新材发布公告表示,目前杭州长誉资产管理合伙企业(有限合伙)投资基金(以下简称“长誉基金”)所投项目上海世灏国际物流有限公司(以下简称“世灏国际”)暂无法退出,且退出时间存在较大不确定性
2024-12-30晶华新材,仓储,净利润记者|赵阳戈 12月23日,北交所完成对珠海市杰理科技股份有限公司(简称杰理科技或公司)的受理。这家由国泰君安保荐的公司,已经经历了7年的IPO之旅
2024-12-30杰理科技,芯片,项目新股提示:N国货航今日上市,2只可申购 N国货航今日上市,开盘上涨334.78%。公司是国内主要的航空物流服务提供商之一,主营业务可分为航空货运服务、航空货站服务、综合物流解决方案三大板块
2024-12-30融资余额,公司,行业中国基金报记者晨曦 大家好!新的一周交易日开启,来一起关注上午的市场行情和最新资讯。 12月30日,A股早间小幅低开,后震荡拉升。截至发稿,A股主要指数普遍翻红,微盘股表现不佳
2024-12-30算力,上海,市场据新华社12月30日消息,韩国“共同调查本部”30日表示,当天凌晨向首尔西部地方法院申请针对被停职的总统尹锡悦的逮捕令。 据韩联社报道,这是韩国宪政史上首次对现任总统申请逮捕令
2024-12-30尹锡悦,韩国,逮捕令12月28日,海正药业(代码:600267)发布《第九届董事会第三十四次会议决议公告》,审议并通过了关于投资参股南京吉盛澳玛生物医药有限公司(以下简称:吉盛澳玛)的议案、关于合成生物学产业柔性生产线技改项目的议案等多项议案
2024-12-30海正药业,创新药,公司财联社12月30日电,市场早盘窄幅震荡,三大指数涨跌不一,大小指数走势分化,北证50指数半日跌超3%再创调整新低。沪深两市半日成交额8291亿,较上个交易日缩量612亿。盘面上热点快速轮动较为杂乱,个股普跌,全市场超4200只个股下跌
2024-12-30板块,个股,指数12月27日,数智电网科创园启航活动在四川成都召开
2024-12-30电网,国网信通,电力A股三大指数窄幅震荡,两市超4000股飘绿
2024-12-30新能源汽车,退市,燃气轮机12月30日上午,济州航空股价重挫16%,触及纪录低点,济州航空母公司AK Holdings的股价下跌12%,至2010年以来最低
2024-12-30客机,波音,机场