一种基于改进对比学习的语义通信方法、系统及终端
2025-02-24 10:40
No.1343533162516717568
技术概要
PDF全文
本技术涉及人工智能、对比学习和语义通信技术领域,提出一种基于改进对比学习的语义通信方法、系统及终端。本方法基于经训练的自编码器模型完成,包括:配置不同长度的若干条文本,将不同长度的若干条文本依次输入语义通信编码器,获得语义编码序列;语义编码序列经信道传输成为模糊语义编码序列,将模糊语义编码序列输入语义通信解码器进行语义解码;构建对比学习正样本对和负样本对;基于正样本对和负样本对,采用改进对比学习损失函数训练自编码器模型,当连续预设次数的训练中损失值未出现下降时,训练完成;将训练完成的自编码器模型部署至信道,进行语义通信。本发明能够保证对比学习的对齐性和均匀性,使语义通信具有更好抗噪声鲁棒性。
背景技术
对比学习的思想最早由Hadsell等人提出,是一种降维的有效方法。Wang和Isola强调了对比损失的两个关键因素:对齐性和均匀性。对齐性损失保证了相似数据的紧密映射,而均匀性损失促进了均匀分布的输出特征空间,保留了最大的信息。许多现有对比学习方法可以被视为这两种损失类型的具体实现,例如InfoNCE,其目的是最大化在一批样本对中选择相似样本对的概率,并且可以被解释为两种样本视图之间的互信息(MI)的下界,这与InfoMax原则是一致的。 Chaccour等人提出利用对比学习方法对需要传输的数据进行预处理,将原始源数据分解为深度语义聚类,这种深度语义聚类可以将可学习的数据与可记忆的数据以及属于不同语义内容元素的数据点分离开来。随后,根据其置信度对形成的语义深度聚类进行排序,其中高置信度的深度语义聚类被认为是可学习的、语义丰富的数据,即可用于在语义通信系统中构建语言的数据。Hua等人使用图像类标签作为语义信息的额外来源,并通过有监督对比学习(SCL)鼓励将具有相同标签的样本聚类,进一步增强了对比学习。Tang等人将对比学习与语义通信相结合,将在有限信道上传输过程中发生的图像损坏视为数据增强操作的一种形式,并提出语义对比编码,以减少原始图像与重构图像之间的语义相似度,同时保持无关图像之间的语义相似度,以便更好地识别。Tian等人使用对比学习独立训练基于深度学习(DL)的图像编码器,从而使学习到的编码具有表现力,可以应用于各种下游任务。为了提高推理性能,Wu等人提出了一种基于对比学习的协同语义通信方案,该方案基于提取的特征之间的相关性,以粗到精的方式对提取的特征进行优化。 对比学习是一种自监督的表征学习方法,它通常通过数据增强得到正样本,通过负采样得到负样本,并使用目标函数增大正样本对在编码空间之间的距离,减小负样本对在编码空间之间的距离,从而获得具有判别性的编码表征;在基于图像传输的语义通信方面,通常通过旋转,裁剪,加噪等方式获得一个图像样本的不同视图,并将该图像样本的不同视图作为正样本;这种正样本的构建方式依赖于先验知识,即数据增强不会影响图像的标签;具体来说,对于一个小狗的图像,通过旋转、裁剪或加噪等方式对图像进行变换(一般变换程度比较小),该图像很难变成其他类别的图像(如汽车图像);因此,数据增强后的图像可以作为原图像的正样本;图像通常是连续的信息表示(尽管像素值被离散化处理),一个像素点的变化或像素点的整体变化通常不会导致图像的语义发生变化。 然而,目前基于对比学习的语义通信主要应用于图像传输,而对于文本传输的语义通信研究在国内外论文、专利中并未涉及。基于文本传输的语义通信,数据增强的方式要更为复杂,原因之一是文本为离散的信息表示,一个单词的改变或顺序的调整很可能会导致句子的语义发生变化,尤其是当文本序列非常短的时候,很容易导致正样本对之间语义不一致的问题。鉴于此,亟待提出一种具备抗噪声能力的语义通信方法。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
曾亮  黄鑫  陈博
技术所属: 北京理工大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利