全民Long-LLM时代终于到来。
本月,中国初创AGI(通用人工智能)公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量,与五个月前该大模型初次亮相时的20万字相比,提升十倍。Kimi Chat的升级彻底引爆市场,同时也引起长文本大模型(Long-LLM)细分赛道更加激烈的竞争。
昨日,阿里旗下的大模型工具通义千问宣布迎来重磅升级,向所有人开放最高1000万字的长文本处理能力,更重要的是,这项升级完全免费。此项升级对于专业领域的意义重大,例如金融、医疗、科研等从业人员,都能利用这项功能更快速地提取出核心关键词,节省文档归整、资料整理的时间。
不仅是阿里,百度文心一言也迎来了长文本处理能力的升级。据官方资料显示,文心一言将在下个月开放免费的200万-500万字长文本处理功能,较此前最高2.8万字的文档处理能力提升上百倍。
此外,360也在本月正式上线了360AI搜索,通过大模型重塑,结合长文本技术在海量搜索结果中理解并生成精准的答案提供给用户。而这款APP,也同样是完全免费的。
(图源:TechTalks)
长文本一直以来都是大模型工具「内卷」的方向,如何在超百万字的文档里做出有效的信息整理、观点归纳,都是技术上的难点。当然,正如半导体行业与消费电子产品市场之间的关系一样,很多消费者能感受到手机、电脑等产品性能正在飞跃式成长,但落实到实际体验上,似乎没有太多的变化。
而在生成式人工智能(GenAI)领域里,「卷」参数会是一个虚无缥缈的噱头,还是造福人类的行为,还很难回答。
在弄清楚「卷」参数到底有何意义之前,我们首先需要了解AI企业们到底在「卷」什么东西。
与衡量手机性能以跑分分数为准一样,大模型也有属于自己的「性能基准」——token,这是一个大模型专用的输入、输出基本单位。在OpenAI给出的准则里,1k token等于750个英文单词、500个中文汉字。
(图源:OpenAI)
同理,token数字越大,能够处理的内容篇幅就越长。ChatGPT-4目前的参数量为8k-32k token、Anthropic公司推出的Claude为100K token,而中国初创企业月之暗面推出的Kimi Chat则是达到了惊人的400K token。具体到实例,Kimi Chat能够在20秒左右读完1篇20万字的长篇小说、通文千义也能在数秒时间里读完80万字的《三体》。
(图源:雷科技制图/通义千问)
参数量剧增所带来的好处自然是大模型对于更长的内容拥有更快速的理解能力,这能够帮助用户从中提炼到所需的摘要、信息点,又或是直接生成整篇内容的总结。语言大模型之所以能够快速「引爆」整个市场,正是得益于这种速度惊人的理解能力。
(图源:雷科技制图/Kimi Chat)
但要彻底攻克长文本,大模型光靠堆砌token参数量并不能完全解决这个问题。超大数量的token的确能够快速阅读完长文档,但段落与段落间的内容也更容易出现「断裂」的情况,这与缺少模型的预先训练有关。目前拥有超大token的AI方案提供商,通常在Transformer预测词之前投喂词元模型,使整体结论更加完整。
(图源:Code-Llama)
比如Code-Llama,标称16K token参数量,但实际上是由一个个4K token窗口连接而成,最终产生出16k token总模型。而这就十分考验大模型工具在窗口之间的推理能力。试想一下,在专业领域中,长文内容都有紧密的逻辑性与关联性,假如大模型推理失误,则有可能出现最终生成的摘要牛头不对马嘴,这对于大模型工具的商业、个人应用,都是致命的打击。
当然,大模型的推理能力是可以通过训练得到进步的,这就不难解释为何阿里、百度都选择优先将长文本模型功能免费开放给个人用户,毕竟更多用户加入,模型推理能力的进化速度才能加快。
(图源:百度文心一言)
但免费应用也是一件好事情,长文本的快速阅读一直以来也是用户在大模型各项实际应用场景最关注的一项,比如正在写毕业论文的学生党,可能将超长的论文喂给大模型工具,让其快速提炼、总结,甚至找出论文中的研究结论。
阿里的通义千问将长文本档能力的拓展方向瞄准在专业领域的内容理解上,尤其是金融、医学等,对于这些行业的从业人员而言,从前需要花上几天或是十几天才能读完的文章,如今只需花上十几秒就能看完其中的精华之处。
但大模型长文本的能力远不止于此。
(图源:育碧)
不久前,知名游戏公司育碧公开的全新「NEO NPC」技术,正是Long-LLM(长文本大模型)升级后衍生的新方向。众所周知,3A游戏大作的灵魂往往与其精彩的剧本离不开关系,其中各式各样的游戏角色,也因其丰富的背景故事和鲜明的个性深受玩家喜好。大模型从1k token进化到100k token,甚至是400k token,能够让游戏剧本完整地覆盖到每个游戏角色里,让他们的对话、行为,既符合游戏的世界观,又能保证一定的灵活性。
这项能力同样可以应用在我们生活中最离不开的功能——搜索。
(图源:雷科技制图/360AI搜索)
本月初,360在北京举行了一场活动,旗下全新360AI搜索和360AI浏览器率先亮相。360AI搜索的核心在于“理解”、“提炼”、“总结”,即抛开传统搜素引擎将所有与之相关的内容为用户一一呈现的做法,主动介入搜索结果,在数以万计的匹配信息里提炼出最有效的信息。
360AI浏览器则是变成彻底的「AI工具」。周鸿祎解释道,360AI浏览器的定位是学习、生产力工具,它能帮助用户快速阅读书籍、文章,了解视频内容等。此外,360AI浏览器未来还将拥有续写功能,这同样基于大模型长文档的理解。
更重要的是,更长的文档内容理解有助于加速AI快速过渡到AGI(通用大模型)时代。正如前文所说,Long-LLM较之前最大的变化在于对超长文本的理解、记忆、总结能力,这些能力可以是大模型更加「拟人」,即记住样本的真实喜好从而判断其行为,又或是根据真实世界的物理规则,生成完全符合实际的内容。
早在去年底,大模型长文本技术就已经进入到火热阶段,但却鲜有AI企业将这项技术应用到大模型工具中,更别提免费向大众开放了。
OpenAI CEO Altman在接受公开访问时也表示,由于算力不足,GPT-4的32K token短期内无法向大众开放。要知道,OpenAI可是当前人工智能市场里获投资最高的头部企业之一,连它都空有技术却无法落地,不免让人对Long-LLM的未来感到担忧。
在算力不足的前提下有没有办法「投机取巧」呢?当然有。
目前主流节省算力的长文本技术通常有三种,分别是短文档重复检索、内容分组检索和模型本身的优化。前两种方案在技术原理上相对一致,都是将重复的内容进行「记忆」,节省理解时间,减少算力消耗;而模型本身的优化则要复杂许多,相当于用短文档推导出长文档,这非常考究模型本身的结构优化。
(图源:英伟达)
不过,无论采用哪种方法,其精度仍有待加强,这就是为何我们仍在期待更强大的计算卡出现,比如前不久GTC 2024上,英伟达发布的最强计算显卡Blackwell GB200。关于这颗当前最强AI加速卡的详细解析,雷科技在早前的文章里已有报道,欢迎各位订阅查看。
在当前,算力仍是阻碍Long-LLM成长的一大关键因素,但随着英伟达、英特尔等硬件供应商不断加码,这项技术在未来也将成为AI领域发展的风向标之一。
如果说OpenAI的Sora展现出其在AGI时代关于视频领域上的想象,那么Long-LLM则是奔向全场景通用智能的基桩。
大模型长文本技术能让AI助手记住用户的所有你与它谈论过的话题,这让你们之间能够创造真实的回忆,而不是像从前一样,在开始新对话之后,前面的「AI」就忘记了刚刚发生过的任何事情。这使得它能够变成更好的AI智能客服,毕竟即便是真人,也难以记住与每位咨询者发生过的对话。同样的,Long-LLM还能化身数字人主播、创造数字偶像等等。
或许,在大模型长文本技术的支持下,AGI时代将在不久后真正到来。
证券时报e公司讯,广电电气(601616)5月9日晚间公告,王斌因集团内部工作调整申请辞去公司常务副总裁职务,辞职后仍将担任公司董事的职务
2024-05-09广电电气,王斌,公司富乐德(SZ 301297,收盘价:21.34元)发布公告称,2024年05月08日下午15:00-17:00,富乐德接受线上参与公司2023年度网上业绩说明会的投资者调研
2024-05-09富乐德,2023,公司5月9日,汽车零部件供应商麦格纳公布2024年第一季度财报:销售额为109.70亿美元,同比增长3%;调整后息税前利润(EBIT)为4.69亿美元,上年同期为4.49亿美元
2024-05-09麦格纳,美元,汽车零部件奇德新材(SZ 300995,收盘价:18.56元)5月9日晚间发布公告称,公司2023年年度业绩说明会定于2024年5月16日(星期四)下午15:00至16:00,以网络文字互动的形式进行
2024-05-09奇德新材,说明,独立董事友阿股份(SZ 002277,收盘价:2.67元)5月9日晚间发布公告称,公司2023年年度业绩说明会定于2024年5月16日(星期四)下午15:00至17:00,以网络远程的形式进行
2024-05-09友阿股份,说明,房地产中国国贸(SH 600007,收盘价:23.82元)5月9日晚间发布公告称,公司2023年年度业绩说明会定于2024年5月17日(星期五)上午10:00-11:00,以网络文字互动的形式进行
2024-05-09中国国贸,说明,2023利元亨5月9日于互动平台表示,公司紧紧围绕光伏异质结整线核心设备进行研发布局,与光伏头部企业建立深度合作关系,与安徽华晟、上海泰睿等签署深度战略合作框架备忘或技术开发协议,在光伏(异质结、钙钛矿)、储能等领域展开深度合作
2024-05-09光伏,利元亨,公司克明食品(002661)5月9日晚间公告,子公司兴疆牧歌2024年4月份销售生猪4.80万头,销量环比下降11.08%,同比增长5.04%;销售收入6110.15万元,销售收入环比下降10.42%,同比增长4.66%
2024-05-09生猪,克明食品,销售2024年5月9日,晓鸣股份(300967.SZ)发布了4月鸡产品销售情况简报,2024年4月销售鸡产品1,929.57万羽,销售收入6,333.22万元,环比变动分别为9.58%、15.80%
2024-05-09晓鸣股份,300967,18.722024年5月9日,丰原药业(000153.SZ)在互动平台上表示,公司赤藓糖醇项目建设已完工
2024-05-09丰原药业,000153,公司2024年5月9日,凯盛新材(301069.SZ)在互动平台上表示,公司暂未直接生产偏苯三酸酐(TMA)产品,目前公司采购偏苯三酸酐产品用于合成偏苯三酸酐酰氯产品,下游主要用于医药、医疗、新材料等领域
2024-05-09偏苯三酸酐,凯盛新材,3010692024年5月9日,克明食品(002661.SZ)发布了子公司4月生猪销售简报,兴疆牧歌2024年4月份销售生猪4.80万头,销量环比下降11.08%,同比增长5.04%;销售收入6,110.15万元,销售收入环比下降10.42%
2024-05-09生猪,克明食品,2024卓锦股份(688701)今日在互动平台表示,天津中安并非公司实控人,不适用控股股东减持细则,且所持有股份均为无限售流通股,因此不存在违规减持情况。公司2023年归母净利润为负,不符合被纳入实施ST范畴的前提条件,因此不存在被实施ST的风险
2024-05-09卓锦股份,公司,股东截至收盘,今日上证科创板50成份指数上涨2.3%,科创100指数上涨2.2%,上证科创板成长指数上涨2.4%
2024-05-09100,科创板,科创每经AI快讯,有投资者在投资者互动平台提问:国家提倡低空经济,请问对贵公司后期经营有没重大影响?如有影响请问贵公司哪种产品受益最多? 通达动力(002576.SZ)5月9日在投资者互动平台表示,公司生产的定转子电机铁芯产品品种齐全
2024-05-09通达动力,电机,投资者南方财经5月9日电,克明食品公告,2024年1-4月,公司累计销售生猪17.05万头,较去年同期下降15.70%;累计销售收入20,493.94万元,较去年同期下降12.79%
2024-05-09克明食品,生猪,销售截至收盘,今日沪深300指数上涨1.0%,中证A50指数上涨0.9%,创业板指数上涨1.9%,上证科创板50成份指数上涨2.3%
2024-05-09上涨,指数,兴业证券五洲新春(SH 603667,收盘价:17.21元)5月9日晚间发布公告称,公司2023年度暨2024年第一季度业绩说明会定于2024年05月20日下午14:00-15:00,以上证路演中心网络互动的形式进行
2024-05-09五洲新春,说明,汽车配件证券时报e公司讯,晓鸣股份(300967)5月9日晚间公告,2024年4月销售鸡产品1929.57万羽,销售收入6333.22万元,环比变动分别为9.58%、15.80%,同比变动分别为-18.72%、-20.72%
2024-05-09晓鸣股份,6333.22万,15.80每经AI快讯,有投资者向中国动力提问,公司有研发类固态电池系统?对此,中国动力在投资者互动平台表示,公司有相关研究
2024-05-09中国动力,固态电池,公司证券日报网讯 5月9日晚间,农发种业发布公告称,2024年1月-4月份
2024-05-09农发种业,获得,共计广电电气(SH 601616,收盘价:3.3元)5月9日晚间发布公告称,公司第六届第九次董事会会议于2024年5月9日以现场结合通讯表决方式召开。审议了《关于聘任高级管理人员的议案》等
2024-05-09广电电气,董事会会议,6016165月8日,百济神州(纳斯达克代码:BGNE;香港联交所代码:06160;上交所代码:688235.SH)发布2024年第一季度美股业绩报告以及A股业绩快报
2024-05-09百济神州,泽布替尼,替雷利珠单抗截至收盘,今日中证500指数上涨1.8%,中证1000指数上涨1.6%,科创100指数上涨2.2%,创业板中盘200指数上涨1.5%
2024-05-09上涨,指数,中证500星源材质(SZ 300568,收盘价:10.56元)5月9日晚间发布公告称,公司董事会于2024年5月9日收到公司副总经理吴骏先生提交的辞职报告,吴骏先生由于个人原因申请辞去公司副总经理职务。辞职后,吴骏先生不再担任公司任何职务
2024-05-09星源材质,增持,控股股东*ST傲农公告,2024年4月,公司生猪销售量15.52万头,同比减少63.78%
2024-05-09*ST傲农,63.78,生猪诺力股份(SH 603611,收盘价:22.06元)5月9日晚间发布公告称,诺力智能装备股份有限公司董事会近日收到公司副总经理刘宏俊先生提交的书面辞职报告,刘宏俊先生因个人原因申请辞去副总经理职务,辞职后刘宏俊先生将不在公司担任任何职务
2024-05-09诺力股份,刘宏俊,副总经理广安爱众5月9日在交易所互动平台中披露,截至4月30日公司股东户数为46204户,较上期(4月20日)减少568户,环比降幅为1.21%。这已是该公司股东户数连续第5期下降,累计降幅达15.65%,也就是说筹码呈持续集中趋势
2024-05-09广安爱众,股东户数,上涨交大思诺5月9日在交易所互动平台中披露,截至4月30日公司股东户数为9112户,较上期(4月20日)减少725户,环比降幅为7.37%
2024-05-09交大思诺,股东户数,7.375月9日,第八个“中国品牌日”前夕,成都传媒集团和深圳报业集团作为指导单位、每日经济新闻和深圳商报联合主办、清华大学经济管理学院中国企业研究中心提供学术支持的“2024第八届中国上市公司品牌价值榜发布会”在深圳举行
2024-05-09青岛啤酒,品牌价值,青啤