一种长文本的处理方法、装置、设备及存储介质
2025-02-26 17:34
No.1344361895897079808
技术概要
PDF全文
本技术实施例提供了一种长文本的处理方法、装置、设备及存储介质,所述方法包括:获取待处理的长文本,并将长文本分割成多个文本块,每个文本块的长度根据预设的文本处理模型确定;针对每一文本块,对该文本块进行编码,得到该文本块对应的特征向量;获取候选特征向量,候选特征向量是对目标文本进行编码得到的;基于每一文本块对应的特征向量,以及候选特征向量,计算每一文本块对应的权重值;基于各文本块对应的特征向量,以及各文本块对应的权重值,得到长文本的特征向量,并将长文本的特征向量作为长文本的处理结果。本发明实施例,能够实现对长文本的处理。
背景技术
随着人工智能领域的发展,自然语言处理技术(Natural Language Processing,NLP)在众多场景中得到了广泛运用,比如情感分析、文本相似度计算、评论观点抽取、文本分类、词法分析等场景。在这些自然语言处理场景中,均需要对文本进行处理。目前,大多文本处理模型都是基于训练好的预训练模型进行训练或调整得到的,具体的,以预训练模型为基础,微调预训练模型的参数对下游任务进行训练,实现不同场景下的文本处理模型,以对文本进行处理,该下游任务例如可以是文本分类、关键信息抽取、序列标注等等。 基于Transformer的双向编码器表示(Bidirectional Encoder Representationsfrom Transformers,BERT)是一种语言表示模型,其中,Transformer是一种基于自注意力(self-attention)的特征抽取器。然而,目前基于Transformer的预训练模型,对单次输入模型的文本长度有限制,例如,12层或24层的Transformer结构,其单次处理的文本长度不超过512个字,因此,对于一些需要处理长文本的NLP任务,512这个长度是无法满足需求的。 因此,如何基于目前的预训练模型实现对长文本的处理,成为本领域技术人员亟待解决的技术问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
白金国李长亮李小龙
技术所属: 北京金山数字娱乐科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利