全民Long-LLM时代终于到来。
本月,中国初创AGI(通用人工智能)公司月之暗面宣布旗下大模型工具Kimi Chat正式升级到200万字参数量,与五个月前该大模型初次亮相时的20万字相比,提升十倍。Kimi Chat的升级彻底引爆市场,同时也引起长文本大模型(Long-LLM)细分赛道更加激烈的竞争。
昨日,阿里旗下的大模型工具通义千问宣布迎来重磅升级,向所有人开放最高1000万字的长文本处理能力,更重要的是,这项升级完全免费。此项升级对于专业领域的意义重大,例如金融、医疗、科研等从业人员,都能利用这项功能更快速地提取出核心关键词,节省文档归整、资料整理的时间。
不仅是阿里,百度文心一言也迎来了长文本处理能力的升级。据官方资料显示,文心一言将在下个月开放免费的200万-500万字长文本处理功能,较此前最高2.8万字的文档处理能力提升上百倍。
此外,360也在本月正式上线了360AI搜索,通过大模型重塑,结合长文本技术在海量搜索结果中理解并生成精准的答案提供给用户。而这款APP,也同样是完全免费的。
(图源:TechTalks)
长文本一直以来都是大模型工具「内卷」的方向,如何在超百万字的文档里做出有效的信息整理、观点归纳,都是技术上的难点。当然,正如半导体行业与消费电子产品市场之间的关系一样,很多消费者能感受到手机、电脑等产品性能正在飞跃式成长,但落实到实际体验上,似乎没有太多的变化。
而在生成式人工智能(GenAI)领域里,「卷」参数会是一个虚无缥缈的噱头,还是造福人类的行为,还很难回答。
在弄清楚「卷」参数到底有何意义之前,我们首先需要了解AI企业们到底在「卷」什么东西。
与衡量手机性能以跑分分数为准一样,大模型也有属于自己的「性能基准」——token,这是一个大模型专用的输入、输出基本单位。在OpenAI给出的准则里,1k token等于750个英文单词、500个中文汉字。
(图源:OpenAI)
同理,token数字越大,能够处理的内容篇幅就越长。ChatGPT-4目前的参数量为8k-32k token、Anthropic公司推出的Claude为100K token,而中国初创企业月之暗面推出的Kimi Chat则是达到了惊人的400K token。具体到实例,Kimi Chat能够在20秒左右读完1篇20万字的长篇小说、通文千义也能在数秒时间里读完80万字的《三体》。
(图源:雷科技制图/通义千问)
参数量剧增所带来的好处自然是大模型对于更长的内容拥有更快速的理解能力,这能够帮助用户从中提炼到所需的摘要、信息点,又或是直接生成整篇内容的总结。语言大模型之所以能够快速「引爆」整个市场,正是得益于这种速度惊人的理解能力。
(图源:雷科技制图/Kimi Chat)
但要彻底攻克长文本,大模型光靠堆砌token参数量并不能完全解决这个问题。超大数量的token的确能够快速阅读完长文档,但段落与段落间的内容也更容易出现「断裂」的情况,这与缺少模型的预先训练有关。目前拥有超大token的AI方案提供商,通常在Transformer预测词之前投喂词元模型,使整体结论更加完整。
(图源:Code-Llama)
比如Code-Llama,标称16K token参数量,但实际上是由一个个4K token窗口连接而成,最终产生出16k token总模型。而这就十分考验大模型工具在窗口之间的推理能力。试想一下,在专业领域中,长文内容都有紧密的逻辑性与关联性,假如大模型推理失误,则有可能出现最终生成的摘要牛头不对马嘴,这对于大模型工具的商业、个人应用,都是致命的打击。
当然,大模型的推理能力是可以通过训练得到进步的,这就不难解释为何阿里、百度都选择优先将长文本模型功能免费开放给个人用户,毕竟更多用户加入,模型推理能力的进化速度才能加快。
(图源:百度文心一言)
但免费应用也是一件好事情,长文本的快速阅读一直以来也是用户在大模型各项实际应用场景最关注的一项,比如正在写毕业论文的学生党,可能将超长的论文喂给大模型工具,让其快速提炼、总结,甚至找出论文中的研究结论。
阿里的通义千问将长文本档能力的拓展方向瞄准在专业领域的内容理解上,尤其是金融、医学等,对于这些行业的从业人员而言,从前需要花上几天或是十几天才能读完的文章,如今只需花上十几秒就能看完其中的精华之处。
但大模型长文本的能力远不止于此。
(图源:育碧)
不久前,知名游戏公司育碧公开的全新「NEO NPC」技术,正是Long-LLM(长文本大模型)升级后衍生的新方向。众所周知,3A游戏大作的灵魂往往与其精彩的剧本离不开关系,其中各式各样的游戏角色,也因其丰富的背景故事和鲜明的个性深受玩家喜好。大模型从1k token进化到100k token,甚至是400k token,能够让游戏剧本完整地覆盖到每个游戏角色里,让他们的对话、行为,既符合游戏的世界观,又能保证一定的灵活性。
这项能力同样可以应用在我们生活中最离不开的功能——搜索。
(图源:雷科技制图/360AI搜索)
本月初,360在北京举行了一场活动,旗下全新360AI搜索和360AI浏览器率先亮相。360AI搜索的核心在于“理解”、“提炼”、“总结”,即抛开传统搜素引擎将所有与之相关的内容为用户一一呈现的做法,主动介入搜索结果,在数以万计的匹配信息里提炼出最有效的信息。
360AI浏览器则是变成彻底的「AI工具」。周鸿祎解释道,360AI浏览器的定位是学习、生产力工具,它能帮助用户快速阅读书籍、文章,了解视频内容等。此外,360AI浏览器未来还将拥有续写功能,这同样基于大模型长文档的理解。
更重要的是,更长的文档内容理解有助于加速AI快速过渡到AGI(通用大模型)时代。正如前文所说,Long-LLM较之前最大的变化在于对超长文本的理解、记忆、总结能力,这些能力可以是大模型更加「拟人」,即记住样本的真实喜好从而判断其行为,又或是根据真实世界的物理规则,生成完全符合实际的内容。
早在去年底,大模型长文本技术就已经进入到火热阶段,但却鲜有AI企业将这项技术应用到大模型工具中,更别提免费向大众开放了。
OpenAI CEO Altman在接受公开访问时也表示,由于算力不足,GPT-4的32K token短期内无法向大众开放。要知道,OpenAI可是当前人工智能市场里获投资最高的头部企业之一,连它都空有技术却无法落地,不免让人对Long-LLM的未来感到担忧。
在算力不足的前提下有没有办法「投机取巧」呢?当然有。
目前主流节省算力的长文本技术通常有三种,分别是短文档重复检索、内容分组检索和模型本身的优化。前两种方案在技术原理上相对一致,都是将重复的内容进行「记忆」,节省理解时间,减少算力消耗;而模型本身的优化则要复杂许多,相当于用短文档推导出长文档,这非常考究模型本身的结构优化。
(图源:英伟达)
不过,无论采用哪种方法,其精度仍有待加强,这就是为何我们仍在期待更强大的计算卡出现,比如前不久GTC 2024上,英伟达发布的最强计算显卡Blackwell GB200。关于这颗当前最强AI加速卡的详细解析,雷科技在早前的文章里已有报道,欢迎各位订阅查看。
在当前,算力仍是阻碍Long-LLM成长的一大关键因素,但随着英伟达、英特尔等硬件供应商不断加码,这项技术在未来也将成为AI领域发展的风向标之一。
如果说OpenAI的Sora展现出其在AGI时代关于视频领域上的想象,那么Long-LLM则是奔向全场景通用智能的基桩。
大模型长文本技术能让AI助手记住用户的所有你与它谈论过的话题,这让你们之间能够创造真实的回忆,而不是像从前一样,在开始新对话之后,前面的「AI」就忘记了刚刚发生过的任何事情。这使得它能够变成更好的AI智能客服,毕竟即便是真人,也难以记住与每位咨询者发生过的对话。同样的,Long-LLM还能化身数字人主播、创造数字偶像等等。
或许,在大模型长文本技术的支持下,AGI时代将在不久后真正到来。
每经AI快讯,有投资者在投资者互动平台提问:董秘好,近日公司股票连续下跌,且公司也没发布预增或预亏公告,请问公司今年上半年是不是订单大幅度下降所致? 友讯达(300514.SZ)7月26日在投资者互动平台表示,目前公司经营情况稳定
2024-07-26公司,友讯达,投资者新东方创始人俞敏洪7月26日在东方甄选股东沟通会上表示,东方甄选不会持有与辉同行股份
2024-07-26东方甄选,公司,同行每经AI快讯,有投资者在投资者互动平台提问:请问公司目前生产经营情况如何?订单有增长吗? 丰茂股份(301459.SZ)7月26日在投资者互动平台表示,公司目前正常经营
2024-07-26丰茂股份,公司,投资者每经AI快讯,有投资者在投资者互动平台提问:武汉以“揭榜挂帅”“军令状”等方式支持商业航天关键技术攻关,给予单个项目最高3000万支持,新获批的商业航天国家商业中心、技术创新中心、工程研究中心等项目,给予1000万支持
2024-07-26商业航天,久之洋,投资者每经AI快讯,有投资者在投资者互动平台提问:董秘,您好!请问贵公司与阿里是否有具体合作?是否为阿里的智能物流无人车"小蛮驴"提供了相关线控制动系统产品? 亚太股份(002284.SZ)7月26日在投资者互动平台表示,公司和阿里目前暂无合作
2024-07-26阿里,亚太股份,投资者证券时报e公司讯,亚太股份(002284)7月26日在互动平台表示,浙江省智能网联汽车创新中心的“无人驾驶物流车”项目目前已落地且正在顺利推进中,公司有提供部分产品
2024-07-26亚太股份,无人驾驶,公司每经AI快讯,有投资者在投资者互动平台提问:请问贵公司有减肥药相关的项目吗? 万邦医药(301520.SZ)7月26日在投资者互动平台表示,公司目前有减肥药相关的项目,公司现已开发出司美格鲁肽的样本分析方法
2024-07-26减肥药,万邦医药,投资者每经AI快讯,有投资者在投资者互动平台提问:董秘,您好!请问贵公司扩大在海外投资,与近两年获得的不少定点项目有关吗?在海外的零部件产品主要在哪些方面呢? 亚太股份(002284.SZ)7月26日在投资者互动平台表示
2024-07-26亚太股份,投资者,汽车电子产品每经AI快讯,有投资者在投资者互动平台提问:请问公司是否有相关产品用于法国巴黎奥运会?谢谢 绿岛风(301043.SZ)7月26日在投资者互动平台表示,公司没有产品用于法国巴黎奥运会
2024-07-26绿岛风,奥运会,投资者“小作文事件”233天后,曾表态不会离开东方甄选的董宇辉,最终还是单飞了。 两年时间里,董宇辉经历了“知识带货”走红、东方甄选股价暴涨、小作文事件、成立“与辉同行”、分道扬镳.....他与东方甄选的“分手”无疑是体面的
2024-07-26东方甄选,公司,同行每经AI快讯,有投资者在投资者互动平台提问:尊敬的董秘:请问公司的轮毂电机已经用于无人驾驶快速物流车了吗?如有,请问是用于哪些公司? 亚太股份(002284.SZ)7月26日在投资者互动平台表示
2024-07-26无人驾驶,公司,亚太股份7月25日,在岸、离岸人民币兑美元汇率大幅飙升,盘中一度均升破7.21关口,并一度考验7.2这个重要关口。当日离岸人民币兑美元最大涨幅将近700个基点,创下5月3日以来的新高。 就在此时,人民币再度传来重磅消息
2024-07-26人民币,中间价,7.1012每经AI快讯,有投资者在投资者互动平台提问:董秘,您好!请问贵公司的零部件产品有在无人物流车成功应用的案例吗?相关能应用在无人驾驶领域的产品有哪些? 亚太股份(002284.SZ)7月26日在投资者互动平台表示
2024-07-26无人驾驶,亚太股份,投资者7月26日,宝丰能源发布2024年半年度业绩快报,实现营业总收入168.95亿元,同比增长29.07%;归属于上市公司股东的净利润33.04亿元,同比增长46.41%;基本每股收益0.45元
2024-07-26宝丰能源,净利润,同比朗坤环境(301305)7月26日晚间公告,欧盟于7月19日公布了对原产于中国的生物柴油启动反倾销调查的初步裁定结果,公司下属子公司深圳市朗坤生物质能源有限公司和广州市朗坤环境科技有限公司被列为“其他合作公司”
2024-07-26公司,朗坤环境,欧盟证券时报e公司讯,7月26日,义乌小商品城(重庆)数智产业园开园
2024-07-26小商品城,重庆,产业园近日,国家发展改革委等五部门联合印发《关于加快发展节水产业的指导意见》(以下简称《指导意见》)。《指导意见》把以节水产品装备制造等为主要内容的节水产业作为新质生产力和绿色经济的重要组成部分
2024-07-26倍杰特,工业,公司近日某高校学生在中信建投证券暑期研学期间,擅自拍摄了含有公司名称标识的小视频,引发关注。对此,中信建投证券回应财联社记者称,“视频内容涉及我司客户敏感信息,违反了我司合规管理规定
2024-07-26中信建投证券,程序,公司证券时报e公司讯,腾达建设(600512)7月26日晚间公告,2024年1月至6月,公司及下属子公司中标项目共计8个,均为建筑施工业务合同,金额合计12.45亿元
2024-07-26腾达建设,高速公路,项目中旗股份7月26日在交易所互动平台中披露,截至7月20日公司股东户数为13564户,较上期(7月10日)减少755户,环比降幅为5.27%
2024-07-26中旗股份,深股通,公司7月26日,在东方甄选股东电话会上,新东方创始人、东方甄选CEO俞敏洪表示,东方甄选不会再出现某个主播成立独立平台。未来东方甄选主播会共同发展、共同富裕,有福同享,有难同当
2024-07-26东方甄选,公司,同行ZAKER 财经 7 月 26 日消息 腾讯音乐娱乐集团发布新闻稿称,陈琳琳(Linda Chen)因个人原因将辞任集团副总裁及其他相关职务。公司充分尊重其个人意愿,以上调整将于 2024 年 9 月 30 日正式生效
2024-07-26腾讯音乐,腾讯音乐娱乐集团,审计7月26日,A股市场红利板块核心股票遭遇大幅下挫,引发市场广泛关注。中国移动等龙头股票一度跌幅超过5%
2024-07-26红利板块7月26日,苹果COO杰夫·威廉姆斯和苹果大中华区董事总经理葛越,拜访了位于广东的供应商富士康和领益智造。葛越的微博称,他们在富士康观澜看到了iPhone生产的最新进步。领益智造则为苹果全线产品提供数千种零组件,他们的制造实现了高度自动化
2024-07-26领益智造,富士康,苹果7月26日,意法半导体公布2024年第二季度财报:净营收32.3亿美元,同比下降25.3%;毛利率40.1%,同比下降890个基点;营业利润率11.6%,净利润3.53亿美元
2024-07-26意法半导体,美元,预期7月26日A股三大指数震荡收涨,截至收盘,沪指涨0.14%,报2890.9点,深成指涨1.45%,报8597.17点,创业板指涨0.92%,报1659.53点
2024-07-26基金经理每经AI快讯,有投资者在投资者互动平台提问:贵公司有AI智能电表设备吗 友讯达(300514.SZ)7月26日在投资者互动平台表示,公司具备国家电网公司最新标准的高、中、低端各类表型
2024-07-26友讯达,投资者,国家电网公司长华集团公告,公司于近日收到了国内车企关于新能源新车型冲焊件、紧固件的定点通知书
2024-07-26长华集团,新能源,项目7月26日,市场全天震荡反弹,深成指领涨。截至收盘,沪指涨0.14%,深成指涨1.45%,创业板指涨0.92%。 板块方面,家电、汽车拆解概念、商业航天、汽车整车等板块涨幅居前,银行、光伏设备、ST等板块跌幅居前
2024-07-26家电,以旧换新,设备更新每经AI快讯,有投资者在投资者互动平台提问:看公司官网介绍现在贵公司已经开始做《1000JKW直接超大功率脉波快充充电桩》了
2024-07-26充电桩,投资者,公司