一种面向社交媒体领域的多模态命名实体识别系统及方法
2025-02-26 12:20
No.1344282931711188992
技术概要
PDF全文
本技术公开了一种面向社交媒体领域的多模态命名实体识别系统及方法,其中系统包括:采集模块、提取模块、计算模块、构建模块和识别模块;采集模块用于采集多模态命名实体识别数据集并将数据集并按照预设划分为训练集、验证集和测试集,数据集包括文本数据和图像数据;提取模块用于对数据集进行特征提取;计算模块用于基于提取的特征,计算文本数据和图像数据的语义相似度以及文本数据和图像数据按语义相似度关联的位置索引;构建模块用于基于语义相似度和位置索引,构建多模态命名实体识别模型;识别模块用于利用多模态命名实体识别模型完成命名实体类型的预测。
背景技术
社交媒体平台,现已成为人们日常生活中抒发情感、交流观点和分享见解的主要渠道。这些平台聚集了海量用户生成的非结构化内容,包括文字、图片、音频等多模态信息,构成了庞大而丰富的社交信息网络。这些社交媒体平台所囊括的信息呈现出多样性和复杂性,这使得从中提取有价值的信息变得至关重要。在这一背景下,我们面临着新的挑战:如何从这些海量且多模态的非结构化内容中准确、高效地提取命名实体,以满足知识图谱构建、个性化推荐、情感分析等任务对信息的新需求。 传统命名实体识别是从文本中识别并分类出特定类型的命名实体,如人名、地名、组织名、其他类型等。然而,由于传统命名实体识别严重依赖于文本信息,而忽略了其他模态数据(如图像、语音、视频等)中包含的丰富语境信息,这限制了对多模态数据中丰富信息的充分利用。而且传统命名实体识别方法在处理较长文本时,对上下文的理解可能受限,难以捕捉长距离的语义关系,导致在复杂语境下性能下降。综上,传统命名实体识别方法在面对非结构化、多语言、多模态等复杂场景时存在一系列限制和挑战。 因此,多模态命名实体识别在命名实体识别的基础上应运而生。该方法除了利用文本信息外,还结合了其他模态的数据,如图像、语音、视频等,以实现更全面、准确地命名实体识别。但是图像中往往包含着大量无关信息,所以,如果仅仅考虑图像的全局部分可能会使模型关注到无用信息,导致预测结果错误,不能得到较好的效果。而若舍弃图像的全局特征,只考虑图像中的局部区域,则可能丢失一部分对整体氛围的信息。因此,可以将图像的全局特征和各目标检测区域特征分别进行提取,并且结合图文之间的相似度和关联位置信息共同参与实体识别。 目前,深度学习方法是解决多模态命名实体识别的主流方法,其性能表现超过其他种类机器学习方法。在使用深度学习进行实体识别的方法中,现有的研究方法通常采用较直接的文本和图像特征拼接来解决跨模态实体信息之间的差异,但是这样容易出现模态间信息融合不明显,模型无法充分捕捉不同模态之间的语义关联和互补信息。因此在多模态命名实体识别领域,如何充分利用文本和图像之间的关联信息是一个待解决的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
苏琛  李熔盛  魏驰
技术所属: 哈尔滨工程大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利