一种代码检索模型的训练方法、代码检索方法和装置
2025-02-27 11:46
No.1344636774831628288
技术概要
PDF全文
本技术实施例提供了一种代码检索模型的训练方法、代码检索方法和装置,涉及数据处理技术领域,代码检索模型的训练方法,包括:获取目标代码库中的代码索引及其对应的相似索引;对代码索引进行分析得到对应的至少一个代码检索query信息;利用待训练的双塔模型分别对代码检索query信息、代码索引和相似索引进行编码,得到第一特征向量、第二特征向量和第三特征向量;计算第一特征向量与第二特征向量的第一相似度及第一特征向量与第三特征向量的第二相似度;基于第一相似度和第二相似度计算待训练的双塔模型的对比损失,并根据对比损失调整待训练的双塔模型的参数,得到训练好的代码检索模型。应该本发明实施例,提高了代码检索的准确率。
背景技术
检索增强生成(Retrieval-augmented Generation,RAG)是一种结合检索和生成技术的模型,它通过引用外部知识库的信息来生成答案或内容,具有较强的可解释性和定制能力,适用于问答系统、文档生成、智能助手等多个自然语言处理任务中。RAG以大语言模型(Large Language Model,LLM)为基础,通过向量数据库与嵌入模型结合的方式,具体的,RAG的嵌入模型对外部知识库中的内容进行编码,并通过向量数据库对编码得到的特征向量进行存储,进而在待检索查询词输入LLM之后,将已存储的特征向量作为LLM的上下文,指导LLM生成对应的响应信息,优化LLM的输出使其能够引用训练数据之外的知识库(即外部知识库)来辅助生成响应。 虽然RAG的发展能够让LLM可以连接外部知识库辅助生成响应,但RAG在一些专业知识领域上检索的准确率并不尽如人意,例如在处理编程任务中,具体如代码检索时,因用户输入的查询query信息是自然语言描述,而RAG的Embedding模型(即嵌入模型)在对query信息进行编码之后需要检索的是一段代码,基于代码与自然语言描述结构的不同,使得RAG在处理自然语言描述时无法有效理解其表示的含义,致使生成不同向量表示的代码检索结果,影响代码检索结果的准确率。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
冯乔羽李泽辉钟元郑作武高金婵岳秀
技术所属: 蚂蚁云科技集团股份有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利