本技术公开了一种基于元认知思想的多智能体推理框架构建方法,其特点是采用多智能体推理架构模拟人脑思维模式的方法,该方法首先构建元认知智能体训练数据集,并基于思考注入训练范式训练开源大语言模型,使其成为具备思考能力的元认知智能体,而后构建中枢智能体训练数据集,并基于有监督训练范式训练开源大语言模型,使其能够准确地评估任务的困难程度,最后,将未经额外训练的开源大语言模型作为认知智能体,结合元认知智能体与中枢智能体,构建一个能够有效模拟人类元认知思维模式的多智能体推理框架。本发明与现有技术相比具有提升模型解决复杂问题的能力,有效缓解阻碍大语言模型推理能力缺乏串行计算模式和缺乏“思考”能力的两大局限。
背景技术
大语言模型(LLMs,Large Language Models)是基于深度学习技术的自然语言处理(NLP,Natural Language Processing)模型,通常使用数十亿到数千亿的参数,通过大规模的文本数据进行训练,它们能够生成、理解和处理人类语言,具有极强的语言生成和语义理解能力。
目前,使用的大语言模型(如ChatGPT和Llama等)的推理能力存在不足,具体表现为难以解决数学等逻辑较为复杂的问题。这主要有两方面的原因:1)缺乏串行计算模式,大语言模型都是基于Transformer架构的,它们在推理过程中总是遵循并行计算模式。反观人脑通常在解决简单问题时激活神经元的并行传导模式,即快思考,而在解决复杂问题时激活神经元的串行传导模式,即慢思考。因此,大语言模型缺乏串行计算模式限制了其应对复杂问题的能力;2)缺乏“思考”能力,大语言模型使用大规模的人类语料进行训练,尽管这些语料中蕴含着丰富的知识,但人类通常不会将自己的思考过程书写下来,因此,使用这些语料进行训练的大语言模型通常缺乏深入“思考”的能力。
现有的增强大语言模型推理能力的方案主要分为以下两种:1)基于提示词的方法,如推理思维链(Chain of Thought)、推理思维树(Tree of Thought)等,这类方法通过提示工程来引导大语言模型输出中间推理步骤。尽管这类方法模拟了人脑在解决复杂问题时的思考过程,然而它们并未改变大语言模型的并行计算模式,限制了其推理能力的上限;2)基于多智能体的多步推理框架,如CAMEL框架,这类方法通过多模型协同计算的方式来提升推理能力。该类方法通过多模型协同的方式,引入了串行计算模式,但是单个模型欠缺“思考”能力,导致难以完全发挥出串行计算模式的优势。
实现思路