一种基于元认知思想的多智能体推理框架构建方法
2025-02-26 12:32
No.1344286146762645504
技术概要
PDF全文
本技术公开了一种基于元认知思想的多智能体推理框架构建方法,其特点是采用多智能体推理架构模拟人脑思维模式的方法,该方法首先构建元认知智能体训练数据集,并基于思考注入训练范式训练开源大语言模型,使其成为具备思考能力的元认知智能体,而后构建中枢智能体训练数据集,并基于有监督训练范式训练开源大语言模型,使其能够准确地评估任务的困难程度,最后,将未经额外训练的开源大语言模型作为认知智能体,结合元认知智能体与中枢智能体,构建一个能够有效模拟人类元认知思维模式的多智能体推理框架。本发明与现有技术相比具有提升模型解决复杂问题的能力,有效缓解阻碍大语言模型推理能力缺乏串行计算模式和缺乏“思考”能力的两大局限。
背景技术
大语言模型(LLMs,Large Language Models)是基于深度学习技术的自然语言处理(NLP,Natural Language Processing)模型,通常使用数十亿到数千亿的参数,通过大规模的文本数据进行训练,它们能够生成、理解和处理人类语言,具有极强的语言生成和语义理解能力。 目前,使用的大语言模型(如ChatGPT和Llama等)的推理能力存在不足,具体表现为难以解决数学等逻辑较为复杂的问题。这主要有两方面的原因:1)缺乏串行计算模式,大语言模型都是基于Transformer架构的,它们在推理过程中总是遵循并行计算模式。反观人脑通常在解决简单问题时激活神经元的并行传导模式,即快思考,而在解决复杂问题时激活神经元的串行传导模式,即慢思考。因此,大语言模型缺乏串行计算模式限制了其应对复杂问题的能力;2)缺乏“思考”能力,大语言模型使用大规模的人类语料进行训练,尽管这些语料中蕴含着丰富的知识,但人类通常不会将自己的思考过程书写下来,因此,使用这些语料进行训练的大语言模型通常缺乏深入“思考”的能力。 现有的增强大语言模型推理能力的方案主要分为以下两种:1)基于提示词的方法,如推理思维链(Chain of Thought)、推理思维树(Tree of Thought)等,这类方法通过提示工程来引导大语言模型输出中间推理步骤。尽管这类方法模拟了人脑在解决复杂问题时的思考过程,然而它们并未改变大语言模型的并行计算模式,限制了其推理能力的上限;2)基于多智能体的多步推理框架,如CAMEL框架,这类方法通过多模型协同计算的方式来提升推理能力。该类方法通过多模型协同的方式,引入了串行计算模式,但是单个模型欠缺“思考”能力,导致难以完全发挥出串行计算模式的优势。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
吴雯  王国庆  周婧  黄婧淇  王柳丁  贺樑
技术所属: 华东师范大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利