全民Long-LLM时代终于到来。
本月,中国初创AGI(通用人工智能)公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量,与五个月前该大模型初次亮相时的20万字相比,提升十倍。Kimi Chat的升级彻底引爆市场,同时也引起长文本大模型(Long-LLM)细分赛道更加激烈的竞争。
昨日,阿里旗下的大模型工具通义千问宣布迎来重磅升级,向所有人开放最高1000万字的长文本处理能力,更重要的是,这项升级完全免费。此项升级对于专业领域的意义重大,例如金融、医疗、科研等从业人员,都能利用这项功能更快速地提取出核心关键词,节省文档归整、资料整理的时间。
不仅是阿里,百度文心一言也迎来了长文本处理能力的升级。据官方资料显示,文心一言将在下个月开放免费的200万-500万字长文本处理功能,较此前最高2.8万字的文档处理能力提升上百倍。
此外,360也在本月正式上线了360AI搜索,通过大模型重塑,结合长文本技术在海量搜索结果中理解并生成精准的答案提供给用户。而这款APP,也同样是完全免费的。
(图源:TechTalks)
长文本一直以来都是大模型工具「内卷」的方向,如何在超百万字的文档里做出有效的信息整理、观点归纳,都是技术上的难点。当然,正如半导体行业与消费电子产品市场之间的关系一样,很多消费者能感受到手机、电脑等产品性能正在飞跃式成长,但落实到实际体验上,似乎没有太多的变化。
而在生成式人工智能(GenAI)领域里,「卷」参数会是一个虚无缥缈的噱头,还是造福人类的行为,还很难回答。
在弄清楚「卷」参数到底有何意义之前,我们首先需要了解AI企业们到底在「卷」什么东西。
与衡量手机性能以跑分分数为准一样,大模型也有属于自己的「性能基准」——token,这是一个大模型专用的输入、输出基本单位。在OpenAI给出的准则里,1k token等于750个英文单词、500个中文汉字。
(图源:OpenAI)
同理,token数字越大,能够处理的内容篇幅就越长。ChatGPT-4目前的参数量为8k-32k token、Anthropic公司推出的Claude为100K token,而中国初创企业月之暗面推出的Kimi Chat则是达到了惊人的400K token。具体到实例,Kimi Chat能够在20秒左右读完1篇20万字的长篇小说、通文千义也能在数秒时间里读完80万字的《三体》。
(图源:雷科技制图/通义千问)
参数量剧增所带来的好处自然是大模型对于更长的内容拥有更快速的理解能力,这能够帮助用户从中提炼到所需的摘要、信息点,又或是直接生成整篇内容的总结。语言大模型之所以能够快速「引爆」整个市场,正是得益于这种速度惊人的理解能力。
(图源:雷科技制图/Kimi Chat)
但要彻底攻克长文本,大模型光靠堆砌token参数量并不能完全解决这个问题。超大数量的token的确能够快速阅读完长文档,但段落与段落间的内容也更容易出现「断裂」的情况,这与缺少模型的预先训练有关。目前拥有超大token的AI方案提供商,通常在Transformer预测词之前投喂词元模型,使整体结论更加完整。
(图源:Code-Llama)
比如Code-Llama,标称16K token参数量,但实际上是由一个个4K token窗口连接而成,最终产生出16k token总模型。而这就十分考验大模型工具在窗口之间的推理能力。试想一下,在专业领域中,长文内容都有紧密的逻辑性与关联性,假如大模型推理失误,则有可能出现最终生成的摘要牛头不对马嘴,这对于大模型工具的商业、个人应用,都是致命的打击。
当然,大模型的推理能力是可以通过训练得到进步的,这就不难解释为何阿里、百度都选择优先将长文本模型功能免费开放给个人用户,毕竟更多用户加入,模型推理能力的进化速度才能加快。
(图源:百度文心一言)
但免费应用也是一件好事情,长文本的快速阅读一直以来也是用户在大模型各项实际应用场景最关注的一项,比如正在写毕业论文的学生党,可能将超长的论文喂给大模型工具,让其快速提炼、总结,甚至找出论文中的研究结论。
阿里的通义千问将长文本档能力的拓展方向瞄准在专业领域的内容理解上,尤其是金融、医学等,对于这些行业的从业人员而言,从前需要花上几天或是十几天才能读完的文章,如今只需花上十几秒就能看完其中的精华之处。
但大模型长文本的能力远不止于此。
(图源:育碧)
不久前,知名游戏公司育碧公开的全新「NEO NPC」技术,正是Long-LLM(长文本大模型)升级后衍生的新方向。众所周知,3A游戏大作的灵魂往往与其精彩的剧本离不开关系,其中各式各样的游戏角色,也因其丰富的背景故事和鲜明的个性深受玩家喜好。大模型从1k token进化到100k token,甚至是400k token,能够让游戏剧本完整地覆盖到每个游戏角色里,让他们的对话、行为,既符合游戏的世界观,又能保证一定的灵活性。
这项能力同样可以应用在我们生活中最离不开的功能——搜索。
(图源:雷科技制图/360AI搜索)
本月初,360在北京举行了一场活动,旗下全新360AI搜索和360AI浏览器率先亮相。360AI搜索的核心在于“理解”、“提炼”、“总结”,即抛开传统搜素引擎将所有与之相关的内容为用户一一呈现的做法,主动介入搜索结果,在数以万计的匹配信息里提炼出最有效的信息。
360AI浏览器则是变成彻底的「AI工具」。周鸿祎解释道,360AI浏览器的定位是学习、生产力工具,它能帮助用户快速阅读书籍、文章,了解视频内容等。此外,360AI浏览器未来还将拥有续写功能,这同样基于大模型长文档的理解。
更重要的是,更长的文档内容理解有助于加速AI快速过渡到AGI(通用大模型)时代。正如前文所说,Long-LLM较之前最大的变化在于对超长文本的理解、记忆、总结能力,这些能力可以是大模型更加「拟人」,即记住样本的真实喜好从而判断其行为,又或是根据真实世界的物理规则,生成完全符合实际的内容。
早在去年底,大模型长文本技术就已经进入到火热阶段,但却鲜有AI企业将这项技术应用到大模型工具中,更别提免费向大众开放了。
OpenAI CEO Altman在接受公开访问时也表示,由于算力不足,GPT-4的32K token短期内无法向大众开放。要知道,OpenAI可是当前人工智能市场里获投资最高的头部企业之一,连它都空有技术却无法落地,不免让人对Long-LLM的未来感到担忧。
在算力不足的前提下有没有办法「投机取巧」呢?当然有。
目前主流节省算力的长文本技术通常有三种,分别是短文档重复检索、内容分组检索和模型本身的优化。前两种方案在技术原理上相对一致,都是将重复的内容进行「记忆」,节省理解时间,减少算力消耗;而模型本身的优化则要复杂许多,相当于用短文档推导出长文档,这非常考究模型本身的结构优化。
(图源:英伟达)
不过,无论采用哪种方法,其精度仍有待加强,这就是为何我们仍在期待更强大的计算卡出现,比如前不久GTC 2024上,英伟达发布的最强计算显卡Blackwell GB200。关于这颗当前最强AI加速卡的详细解析,雷科技在早前的文章里已有报道,欢迎各位订阅查看。
在当前,算力仍是阻碍Long-LLM成长的一大关键因素,但随着英伟达、英特尔等硬件供应商不断加码,这项技术在未来也将成为AI领域发展的风向标之一。
如果说OpenAI的Sora展现出其在AGI时代关于视频领域上的想象,那么Long-LLM则是奔向全场景通用智能的基桩。
大模型长文本技术能让AI助手记住用户的所有你与它谈论过的话题,这让你们之间能够创造真实的回忆,而不是像从前一样,在开始新对话之后,前面的「AI」就忘记了刚刚发生过的任何事情。这使得它能够变成更好的AI智能客服,毕竟即便是真人,也难以记住与每位咨询者发生过的对话。同样的,Long-LLM还能化身数字人主播、创造数字偶像等等。
或许,在大模型长文本技术的支持下,AGI时代将在不久后真正到来。
茂化实华(SZ000637,前收盘价3.82元,市值19.86亿元)在2024年12月27日披露的公告中暴露出一个令人震惊的事实:由于“工作疏忽”,导致2023年度审计机构中兴财光华事务所项目质量控制复核人谢中梁的信息披露与实际情况不一致
2024-12-30茂化实华,公司,工作当地时间12月30日6时37分,由韩国首尔金浦机场出发飞往济州的济州航空7C101航班在起飞后不久发现起落架出现异常,济州航空在向搭乘该航班的161名乘客说明相关情况后随即返航,据央视新闻报道,该航班于7时25分再次降落金浦机场
2024-12-30航空,下跌,济州2024年12月30日,中电电机(603988.SH)披露了关于股东股份解除质押和办理质押的公告。 截至本公告日,王建裕持有公司股份数量为37928294股,占公司总股本比例为16.13%
2024-12-30公司,本次,项目每经AI快讯,港股港口运输股盘中震荡,天津港发展(03382.HK)涨超3%,东方海外国际(00316.HK)涨超1.5%,中远海运(00517.HK)、中远海控(01919.HK)均涨超1%
2024-12-30天津港发展,HK,03382牵动着国内医药生物企业及有关资本市场投资者心绪的美国生物法案终于以利于企业发展的“阶段性胜利”收尾
2024-12-30金凯生科,CDMO,企业受私有化利好刺激,VESYNC(02148.HK)今日一度涨近30%。截至发稿,涨26.19%,报5.30港元。 根据公开资料,VESYNC从事小家电线上市场。该公司专注于线上营销及销售自主设计开发的小家电及智能家居设备
2024-12-30VESYNC,小家电,股份今日,铜缆高速连接概念再度迎来拉升,板块涨幅位居前列,截至发稿,板块涨幅2.48%。 个股方面,博创科技涨幅超过10%,续创历史新高。宝胜股份表8个交易日内录得第5个涨停板,累计涨幅高达46.92%
2024-12-30算力,高速,连接2024年12月27日,天圣制药集团股份有限公司(证券代码:002872,证券简称:ST 天圣)发布公告,拟对参股公司重庆医药集团长圣医药有限公司(以下简称 “长圣医药”)进行增资
2024-12-30医药,公司,增资12月30日,天利科技股价大幅下跌,早盘一度跌超7%
2024-12-30天利科技,公司,天津智汇每经AI快讯,据禾赛科技官微消息,禾赛科技12月激光雷达交付量突破10万台,成为全球首个达成单月交付量超过10万台的激光雷达企业
2024-12-30激光雷达,禾赛科技,交付2024年以来,新能源汽车产销两旺,乘联会数据显示,新能源汽车渗透率已连续5个月突破50%。12月是车企冲刺全年销量的关键阶段,借助以旧换新政策的刺激作用,车市火爆行情有望延续。 伴随新能源汽车市场的持续成长,动力电池发展空间仍然可期
2024-12-30电池,专利,所述每经AI快讯,12月30日,截至发稿,优必选 (09880.HK)跌23.49%
2024-12-30优必选,周剑,一致行动2024年12月30日,湖北凯龙化工集团股份有限公司(证券代码:002783,证券简称:凯龙股份)发布公告称,公司于 2024 年 12 月 28 日接到实际控制人荆门市人民政府国有资产监督管理委员会(以下简称 “荆门市政府国资委”)通知
2024-12-30凯龙股份,国资委,中荆投资控股集团有限公司2024年12月29日,韵达控股集团股份有限公司(证券代码:002120,证券简称:韵达股份)发布公告称,公司控股股东上海罗颉思投资管理有限公司将持有的 30,000,000 股公司股份办理了质押手续
2024-12-30上海,质押,公司2024年12月30日,维康药业(300878.SZ)公告称,公司及实际控制人刘忠良于2024年12月27日收到中国证监会下发的《立案告知书》,因涉嫌信息披露违法违规,中国证监会决定对公司及刘忠良立案
2024-12-30维康药业,公司,刘忠良2024年12月30日,海亮股份(002203.SZ)公告称,公司与万州经开集团、金龙集团签署框架协议,拟以现金方式受让万州经开集团所持金龙集团部分股份,受让完成后,海亮股份持有金龙集团股份比例不低于20%
2024-12-30海亮股份,集团,万州经开12月30日,韩国济州航空开盘股价大幅跳水,一度跌近16%,最低下探至6920韩元。截至发稿时,济州航空跌8.40%,报7520韩元
2024-12-30航空,下跌,济州尽管港股多数调整,但是思摩尔国际(06969.HK)逆势走强。截至发稿,涨15.98%,报13.06港元
2024-12-30思摩尔国际,HNB,购股权新华财经上海12月30日电 12月30日,讯飞医疗(02506.HK)在港交所主板正式挂牌上市,发行价为每股82.8港元。讯飞医疗作为科大讯飞(002230.SZ)旗下的控股子公司,专注于医疗人工智能技术的研发与应用
2024-12-30医疗,港元,02506市场进入“跨年”交易,“红利”资产悄然回归。相关指数自11月逐级走高后,截至12月27日收盘的近一个月内累计涨幅超过6%,近乎同期沪深300指数涨幅的两倍
2024-12-30红利,资产,分红中国网财经12月30日讯日前,晶华新材发布公告表示,目前杭州长誉资产管理合伙企业(有限合伙)投资基金(以下简称“长誉基金”)所投项目上海世灏国际物流有限公司(以下简称“世灏国际”)暂无法退出,且退出时间存在较大不确定性
2024-12-30晶华新材,仓储,净利润记者|赵阳戈 12月23日,北交所完成对珠海市杰理科技股份有限公司(简称杰理科技或公司)的受理。这家由国泰君安保荐的公司,已经经历了7年的IPO之旅
2024-12-30杰理科技,芯片,项目新股提示:N国货航今日上市,2只可申购 N国货航今日上市,开盘上涨334.78%。公司是国内主要的航空物流服务提供商之一,主营业务可分为航空货运服务、航空货站服务、综合物流解决方案三大板块
2024-12-30融资余额,公司,行业中国基金报记者晨曦 大家好!新的一周交易日开启,来一起关注上午的市场行情和最新资讯。 12月30日,A股早间小幅低开,后震荡拉升。截至发稿,A股主要指数普遍翻红,微盘股表现不佳
2024-12-30算力,上海,市场据新华社12月30日消息,韩国“共同调查本部”30日表示,当天凌晨向首尔西部地方法院申请针对被停职的总统尹锡悦的逮捕令。 据韩联社报道,这是韩国宪政史上首次对现任总统申请逮捕令
2024-12-30尹锡悦,韩国,逮捕令12月28日,海正药业(代码:600267)发布《第九届董事会第三十四次会议决议公告》,审议并通过了关于投资参股南京吉盛澳玛生物医药有限公司(以下简称:吉盛澳玛)的议案、关于合成生物学产业柔性生产线技改项目的议案等多项议案
2024-12-30海正药业,创新药,公司财联社12月30日电,市场早盘窄幅震荡,三大指数涨跌不一,大小指数走势分化,北证50指数半日跌超3%再创调整新低。沪深两市半日成交额8291亿,较上个交易日缩量612亿。盘面上热点快速轮动较为杂乱,个股普跌,全市场超4200只个股下跌
2024-12-30板块,个股,指数12月27日,数智电网科创园启航活动在四川成都召开
2024-12-30电网,国网信通,电力A股三大指数窄幅震荡,两市超4000股飘绿
2024-12-30新能源汽车,退市,燃气轮机12月30日上午,济州航空股价重挫16%,触及纪录低点,济州航空母公司AK Holdings的股价下跌12%,至2010年以来最低
2024-12-30客机,波音,机场