当前位置:商业频道首页 > 财讯 > 正文

上海布局“类脑大模型”颠覆性创新项目,交大教授挑战大模型主流架构(4)

为此,他带领团队开展了一系列探索:在理论层面,发表了关于脉冲神经网络训练算法的多篇论文,将脉冲神经网络从过去的5—10层拓展到50—500层;在神经元模型层面,提出了多房室、多分支的并行脉冲神经元模型,在解决长序列建模问题上取得进展;在架构层面,提出了“树突脉冲神经网络”这个概念,将源自人脑的神经元模型纳入机器学习框架。

谈及未来研发计划,李国齐说:“我们希望通过跨学科合作,推动算法、训练平台和芯片的深度整合,构建百亿至千亿参数规模的通用类脑大模型。”

赵海也打算开发百亿参数规模的类脑大模型。未来两年,他将带领团队完成中文和英文预训练、指令微调能力构建、高效推理部署三项任务,开发出规模不低于300亿参数的中文和英文“脑启发大语言模型”,让用户体验到非Transformer架构大模型的优势。

“我们团队已走通‘从0到1’的原始创新,接下来要做的是‘从1到10’的升级突破。希望得到政府部门更多的算力支持,让我们加快迭代类脑大模型。”赵海说。

(责任编辑:卢其龙 CN070)

热点推送

本周关注

MORE