当前位置:商业频道首页 > 财讯 > 正文

上海布局“类脑大模型”颠覆性创新项目,交大教授挑战大模型主流架构(3)

上海布局“类脑大模型”颠覆性创新项目,交大教授挑战大模型主流架构

“信号全连接流动”机制示意图

与Transformer架构大模型相比,“脑启发大语言模型”有四大潜在优势:通过模拟人脑的语义编码和信号传播机制,获得人脑的低能耗优势,大模型计算成本有望大幅降低;每个节点都对应明确语义,决策过程透明可解释,消除了大模型决策的“黑箱”问题,有利于确保人工智能安全可控;由于信号可在各个节点间无限制传播,它有望支持无限长的上下文输入,且无须增加模型规模;与多模态天然适配,在学习图像和视频时更接近人类学习方式,不依赖大数据。

凭借这些优势,赵海团队经过4轮评审,获得了“交大2030”计划B类立项支持。B类项目倡导“从 0 到 1”的原始创新,瞄准世界级基础科学问题。它不设论文指标,允许项目团队在科研领域自由使用经费。“我们打算把500万元主要用于购买算力,未来两年开发出像ChatGPT那样的对话式大模型,与Transformer架构大模型展开竞争。”得到项目支持后,赵海对这一颠覆性创新的前景更有信心了。

瞄准百亿参数大模型目标

在类脑大模型这一前沿领域,赵海并不是独行者。记者从中国科学院脑智卓越中心了解到,脑认知与类脑智能全国重点实验室研究员李国齐在研发“类脑通用智能大模型”。他的技术路线与赵海不同,主要在微观尺度上模拟大脑神经元的激活方式。

李国齐认为,Transformer架构大模型的基础是“点神经元模型+自注意力机制”,而人脑的基本计算单位是树突神经元模型。它比点神经元模型复杂得多,呈树状结构,包含多个分支和房室,每个分支和房室都存在不同参数的动力学过程,使树突神经元模型拥有多尺度的记忆能力。“我们的目标是研究可否将这种人脑机制融入现有大模型,构建一个通用的类脑智能大模型架构。”

热点推送

本周关注

MORE