全民Long-LLM时代终于到来。
本月,中国初创AGI(通用人工智能)公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量,与五个月前该大模型初次亮相时的20万字相比,提升十倍。Kimi Chat的升级彻底引爆市场,同时也引起长文本大模型(Long-LLM)细分赛道更加激烈的竞争。
昨日,阿里旗下的大模型工具通义千问宣布迎来重磅升级,向所有人开放最高1000万字的长文本处理能力,更重要的是,这项升级完全免费。此项升级对于专业领域的意义重大,例如金融、医疗、科研等从业人员,都能利用这项功能更快速地提取出核心关键词,节省文档归整、资料整理的时间。
不仅是阿里,百度文心一言也迎来了长文本处理能力的升级。据官方资料显示,文心一言将在下个月开放免费的200万-500万字长文本处理功能,较此前最高2.8万字的文档处理能力提升上百倍。
此外,360也在本月正式上线了360AI搜索,通过大模型重塑,结合长文本技术在海量搜索结果中理解并生成精准的答案提供给用户。而这款APP,也同样是完全免费的。
(图源:TechTalks)
长文本一直以来都是大模型工具「内卷」的方向,如何在超百万字的文档里做出有效的信息整理、观点归纳,都是技术上的难点。当然,正如半导体行业与消费电子产品市场之间的关系一样,很多消费者能感受到手机、电脑等产品性能正在飞跃式成长,但落实到实际体验上,似乎没有太多的变化。
而在生成式人工智能(GenAI)领域里,「卷」参数会是一个虚无缥缈的噱头,还是造福人类的行为,还很难回答。
在弄清楚「卷」参数到底有何意义之前,我们首先需要了解AI企业们到底在「卷」什么东西。
与衡量手机性能以跑分分数为准一样,大模型也有属于自己的「性能基准」——token,这是一个大模型专用的输入、输出基本单位。在OpenAI给出的准则里,1k token等于750个英文单词、500个中文汉字。
(图源:OpenAI)
同理,token数字越大,能够处理的内容篇幅就越长。ChatGPT-4目前的参数量为8k-32k token、Anthropic公司推出的Claude为100K token,而中国初创企业月之暗面推出的Kimi Chat则是达到了惊人的400K token。具体到实例,Kimi Chat能够在20秒左右读完1篇20万字的长篇小说、通文千义也能在数秒时间里读完80万字的《三体》。
(图源:雷科技制图/通义千问)
参数量剧增所带来的好处自然是大模型对于更长的内容拥有更快速的理解能力,这能够帮助用户从中提炼到所需的摘要、信息点,又或是直接生成整篇内容的总结。语言大模型之所以能够快速「引爆」整个市场,正是得益于这种速度惊人的理解能力。
(图源:雷科技制图/Kimi Chat)
但要彻底攻克长文本,大模型光靠堆砌token参数量并不能完全解决这个问题。超大数量的token的确能够快速阅读完长文档,但段落与段落间的内容也更容易出现「断裂」的情况,这与缺少模型的预先训练有关。目前拥有超大token的AI方案提供商,通常在Transformer预测词之前投喂词元模型,使整体结论更加完整。
(图源:Code-Llama)
比如Code-Llama,标称16K token参数量,但实际上是由一个个4K token窗口连接而成,最终产生出16k token总模型。而这就十分考验大模型工具在窗口之间的推理能力。试想一下,在专业领域中,长文内容都有紧密的逻辑性与关联性,假如大模型推理失误,则有可能出现最终生成的摘要牛头不对马嘴,这对于大模型工具的商业、个人应用,都是致命的打击。
当然,大模型的推理能力是可以通过训练得到进步的,这就不难解释为何阿里、百度都选择优先将长文本模型功能免费开放给个人用户,毕竟更多用户加入,模型推理能力的进化速度才能加快。
(图源:百度文心一言)
但免费应用也是一件好事情,长文本的快速阅读一直以来也是用户在大模型各项实际应用场景最关注的一项,比如正在写毕业论文的学生党,可能将超长的论文喂给大模型工具,让其快速提炼、总结,甚至找出论文中的研究结论。
阿里的通义千问将长文本档能力的拓展方向瞄准在专业领域的内容理解上,尤其是金融、医学等,对于这些行业的从业人员而言,从前需要花上几天或是十几天才能读完的文章,如今只需花上十几秒就能看完其中的精华之处。
但大模型长文本的能力远不止于此。
(图源:育碧)
不久前,知名游戏公司育碧公开的全新「NEO NPC」技术,正是Long-LLM(长文本大模型)升级后衍生的新方向。众所周知,3A游戏大作的灵魂往往与其精彩的剧本离不开关系,其中各式各样的游戏角色,也因其丰富的背景故事和鲜明的个性深受玩家喜好。大模型从1k token进化到100k token,甚至是400k token,能够让游戏剧本完整地覆盖到每个游戏角色里,让他们的对话、行为,既符合游戏的世界观,又能保证一定的灵活性。
这项能力同样可以应用在我们生活中最离不开的功能——搜索。
(图源:雷科技制图/360AI搜索)
本月初,360在北京举行了一场活动,旗下全新360AI搜索和360AI浏览器率先亮相。360AI搜索的核心在于“理解”、“提炼”、“总结”,即抛开传统搜素引擎将所有与之相关的内容为用户一一呈现的做法,主动介入搜索结果,在数以万计的匹配信息里提炼出最有效的信息。
360AI浏览器则是变成彻底的「AI工具」。周鸿祎解释道,360AI浏览器的定位是学习、生产力工具,它能帮助用户快速阅读书籍、文章,了解视频内容等。此外,360AI浏览器未来还将拥有续写功能,这同样基于大模型长文档的理解。
更重要的是,更长的文档内容理解有助于加速AI快速过渡到AGI(通用大模型)时代。正如前文所说,Long-LLM较之前最大的变化在于对超长文本的理解、记忆、总结能力,这些能力可以是大模型更加「拟人」,即记住样本的真实喜好从而判断其行为,又或是根据真实世界的物理规则,生成完全符合实际的内容。
早在去年底,大模型长文本技术就已经进入到火热阶段,但却鲜有AI企业将这项技术应用到大模型工具中,更别提免费向大众开放了。
OpenAI CEO Altman在接受公开访问时也表示,由于算力不足,GPT-4的32K token短期内无法向大众开放。要知道,OpenAI可是当前人工智能市场里获投资最高的头部企业之一,连它都空有技术却无法落地,不免让人对Long-LLM的未来感到担忧。
在算力不足的前提下有没有办法「投机取巧」呢?当然有。
目前主流节省算力的长文本技术通常有三种,分别是短文档重复检索、内容分组检索和模型本身的优化。前两种方案在技术原理上相对一致,都是将重复的内容进行「记忆」,节省理解时间,减少算力消耗;而模型本身的优化则要复杂许多,相当于用短文档推导出长文档,这非常考究模型本身的结构优化。
(图源:英伟达)
不过,无论采用哪种方法,其精度仍有待加强,这就是为何我们仍在期待更强大的计算卡出现,比如前不久GTC 2024上,英伟达发布的最强计算显卡Blackwell GB200。关于这颗当前最强AI加速卡的详细解析,雷科技在早前的文章里已有报道,欢迎各位订阅查看。
在当前,算力仍是阻碍Long-LLM成长的一大关键因素,但随着英伟达、英特尔等硬件供应商不断加码,这项技术在未来也将成为AI领域发展的风向标之一。
如果说OpenAI的Sora展现出其在AGI时代关于视频领域上的想象,那么Long-LLM则是奔向全场景通用智能的基桩。
大模型长文本技术能让AI助手记住用户的所有你与它谈论过的话题,这让你们之间能够创造真实的回忆,而不是像从前一样,在开始新对话之后,前面的「AI」就忘记了刚刚发生过的任何事情。这使得它能够变成更好的AI智能客服,毕竟即便是真人,也难以记住与每位咨询者发生过的对话。同样的,Long-LLM还能化身数字人主播、创造数字偶像等等。
或许,在大模型长文本技术的支持下,AGI时代将在不久后真正到来。
美联储或提前降息。 当地时间7月2日,美国最新发布的“小非农”ADP就业数据爆冷,为2023年3月以来的首次负增长。最新的就业数据显示,美国就业前景不容乐观。市场开始憧憬美联储将提前降息
2025-07-03美联储,高盛,政策停牌六年的科兴生物最近因为分红计划再次成为舆论焦点。 根据公司最新发布的三次特别股息支付方案,分红金额最高或达75亿美金。如果方案通过,科兴生物可能要掏出超过账上余额的70%资金回馈股东,让市场咋舌
2025-07-03科兴生物,潘爱华,董事会险资举牌脚步不停。 7月2日,江南水务发布公告称,利安人寿通过二级市场集合竞价方式增持公司110万股。此次权益变动后,利安人寿累计持有江南水务4699.54万股,占公司总股本的5.03%,触发举牌
2025-07-03利安人寿,公司,江南水务中新网杭州7月2日电(鲍梦妮)7月2日,杭州市“双十平台”“助跑计划”动员会暨科技成果发布会在杭州市余杭区举办,现场发布“双十平台”服务包,以助高能级科创平台用好政策红利
2025-07-03平台,服务包,科技百度搜索在7月2日官宣开展近十年来规模最大的一次改版。 搜索框、搜索结果页以及搜索生态等各方面都将迎来改变
2025-07-03百度,金山云,CFO7月2日晚间,小米集团创始人、董事长兼CEO雷军返场直播回应“大定有水分”表示,小米汽车大定的统计口径和所有车企都一样。有很多人质疑SU7转单。小米SU7和小米SU7 Ultra转单小米YU7的数量,不足小米YU7订单的15%
2025-07-03小米,Flip,雷军当地时间周三,美国科技巨头微软公司宣布了新的裁员计划,可能影响到9000个工作岗位,这也是该公司今年第二次大规模裁员,目的是控制成本
2025-07-03微软,代码,计划7月2日,小米创始人、董事长兼CEO雷军举行返场直播。 在直播中,雷军依然妙语连珠,针对大家对小米汽车的各种疑问,进行了一一回应。 直播截图 直播结束后,雷军还贴心地在其微博上发布了直播的主要内容
2025-07-03小米,Flip,雷军7月2日,万辰集团(300972.SZ)(下称“万辰”)股价开盘后一路下行,盘中一度跌超11%,截至收盘跌幅收窄至9.73%,报168.67元/股;总市值304亿元,较上一日缩水约33亿元。 这一股价异动,或与前一日披露的高管减持公告有关
2025-07-03减持,公司,高管中证智能财讯吉宏股份(002803)7月2日晚间披露业绩预告,预计2025年上半年归母净利润1.12亿元至1.19亿元,同比增长55%-65%;扣非净利润预计1.06亿元至1.13亿元
2025-07-03吉宏股份,公司,增长对全球最大资产管理公司贝莱德来说,旗下的比特币交易所交易基金(ETF)为其创造的收入可能已经超过了其标志性的产品标普500指数ETF
2025-07-03ETF,半导体,指数关税谈判,传出新进展! 北京时间7月2日晚间消息,美国总统特朗普在社交媒体上宣布,已与越南达成贸易协议。 特朗普表示,在经历数周密集外交后,他已与越南达成贸易协议
2025-07-03特朗普,美国,总统关税大消息来了! 北京时间7月2日晚间,美国总统特朗普宣布,已与越南达成一项贸易协议。这是在两国经过数周紧张的外交磋商后取得的结果,也是在下周最后期限之前的关键时刻作出的宣布。若未能及时达成协议,美国原计划对越南进口商品加征更高的关税
2025-07-03贸易,越南,特朗普据报道,微软希望减少在人工智能计算方面对英伟达的依赖。微软将缩减人工智能芯片规模以克服进度延迟
2025-07-03微软,英伟达,人工智能芯片比亚迪股份有限公司(以下简称“比亚迪”)“出海”之路又有新突破。据比亚迪官微消息,当地时间7月1日,比亚迪在巴西巴伊亚州卡马萨里举行巴西乘用车工厂首车下线仪式。 从宣布建厂计划到首车下线,比亚迪巴西工厂建设投产仅耗时2年
2025-07-03比亚迪,销量,市场近期A股市场震荡攀升,私募机构对上市公司的调研活动保持活跃。 第三方机构最新监测数据显示,6月,私募证券管理人对A股上市公司的调研次数超1700次,电子、医药生物和机械设备等行业(申万一级行业口径)被调研次数居前
2025-07-03私募,调研,行业最近一段时间,不管看不看足球,大概率会刷到“苏超”。 人人都知道“苏超”火爆,专业机构——国家统计局江苏调查总队则给出了这项业余赛事的“出圈指数”:关注人群中非传统球迷群体的占比近八成。 “苏超”全称是江苏省城市足球联赛
2025-07-03苏超,赛事,江苏国安达(300902)7月2日晚间公告,公司控股股东、实控人之一、董事长、总经理洪伟艺,实控人之一、董事、常务副总经理、董事会秘书洪清泉计划分别减持公司股份不超过181万股(占公司总股本的0.9956%)
2025-07-03国安达,公司,实控人7月2日,江苏江南水务股份有限公司(以下简称江南水务)发布公告称,利安人寿保险股份有限公司(以下简称利安人寿)通过集合竞价方式累计增持该公司股份至4699.54万股,持股比例达5.03%
2025-07-03江南水务,利安人寿,举牌贝索斯开始卖了! 当地时间周二(7月1日),亚马逊提交给美国证券交易委员会(SEC)的文件显示,亚马逊创始人杰夫·贝索斯出售了超330万股该公司股票,套现约7.37亿美元(合52.81亿元人民币)。这是他今年首次出售亚马逊股票
2025-07-03亚马逊,机器人,员工7月2日,《每日经济新闻》记者获悉,百度商业研发团队对外发布了自研视频生成模型“MuseSteamer”及配套创作平台“绘想”,正式进军AI(人工智能)视频生成领域
2025-07-03百度,金山云,CFO兄弟姐妹们啊,今晚继续关注海外市场的表现! 科技股大涨 7月2日晚间,美股三大指数上涨,道指低开高走,纳指持续上扬,涨约0.8%,标普500指数涨约0.3%! 在部分大型科技公司带动下,美股上涨
2025-07-03美联储,高盛,政策“果链”巨头立讯精密工业股份有限公司(002475.SZ,以下简称“立讯精密”)发布公告称,公司目前正在筹划境外发行股份(H 股)并在香港联交所上市事项
2025-07-03立讯精密,公司,上市中证智能财讯宗申动力(001696)7月2日晚间披露业绩预告,预计2025年上半年归母净利润4.79亿元至5.64亿元,同比增长70%-100%;扣非净利润预计4.56亿元至5.36亿元
2025-07-03市盈率,市净率,宗申动力7月2日,小米创办人、董事长兼CEO雷军在直播中表示,上市发布15个月,小米SU7累计交付量已接近30万辆。 “6月是小米YU7的宣传档期,小米SU7新增锁单反而更多了。我们已经三次调高小米SU7的订单预期,6月最终锁单约1.4万辆
2025-07-03小米,Flip,雷军近日,华熙生物(688363.SH)在《推动行业进入以检测结果为宣传依据的时代》中表示,主张免受科学检验的必定属于伪科学
2025-07-03华熙生物,检测,巨子生物7月2日,淘宝闪购正式启动规模高达500亿元的补贴计划
2025-07-03闪购,淘宝,零售7月2日,小米创办人、董事长兼CEO雷军在直播中表示:“最近,我看到有车企专门出了针对小米YU7的‘拦截应对话术’。仅仅是露出的部分,我仔细看了,实在不太准确。其实,大可不必,这样做真的不是太好,我们不建议同行们这么做
2025-07-03小米,Flip,雷军县域强则省域强。作为濒海临江的经济大省,江苏蓬勃发展的背后不仅有中心城市的支撑,更是全省县域板块集体进阶的成果体现。近年来,在县域经济高速发展的驱动下,镇强、县富、产业兴的“苏”式特色,已成为江苏高质量发展的生动写照
2025-07-03邮储银行,核心一级资本,募资7月2日,仙鹤股份有限公司(以下简称“仙鹤股份”)发布公告称,公司已于6月30日与四川省合江县人民政府签署《竹浆纸用一体化高性能纸基新材料项目投资协议书》
2025-07-03仙鹤股份,新材料,项目