本技术涉及计算机技术领域,提出了一种优化大型语言模型微调的技术及相应的电子设备。该技术包括在第i个微调阶段,对大型语言模型的参数空间进行采样以获取模型参数向量,并基于该向量进行优化处理,以提升模型性能和适应性。
背景技术
大语言模型(large language model,LLM),指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。在预训练的大语言模型的基础上,对模型参数进行微小调整,以适应特定任务的需求。在大语言模型的预训练过程,通常使用大规模的无标注文本数据集进行训练,学习语言的内在结构和规律;而微调过程则使用有标注的特定任务的数据集,使大语言模型在特定任务上达到更优的性能。
基于特定任务对大语言模型的微调过程,会涉及到隐私或敏感的训练数据,攻击者可能通过模型反演攻击或梯度推理攻击,推测出微调时使用的训练数据。为了防止数据泄露,并不侵犯数据隐私,目前使用差分隐私技术在梯度中注入噪声,对LLM/进行微调训练。然而,随着LLM的规模不断增大,微调LLM的过程产生巨大的资源消耗和时间开销,过量的噪声注入降低模型性能。
实现思路