本技术涉及人工智能、对比学习和语义通信技术领域,提出一种基于改进对比学习的语义通信方法、系统及终端。本方法基于经训练的自编码器模型完成,包括:配置不同长度的若干条文本,将不同长度的若干条文本依次输入语义通信编码器,获得语义编码序列;语义编码序列经信道传输成为模糊语义编码序列,将模糊语义编码序列输入语义通信解码器进行语义解码;构建对比学习正样本对和负样本对;基于正样本对和负样本对,采用改进对比学习损失函数训练自编码器模型,当连续预设次数的训练中损失值未出现下降时,训练完成;将训练完成的自编码器模型部署至信道,进行语义通信。本发明能够保证对比学习的对齐性和均匀性,使语义通信具有更好抗噪声鲁棒性。
背景技术
对比学习的思想最早由Hadsell等人提出,是一种降维的有效方法。Wang和Isola强调了对比损失的两个关键因素:对齐性和均匀性。对齐性损失保证了相似数据的紧密映射,而均匀性损失促进了均匀分布的输出特征空间,保留了最大的信息。许多现有对比学习方法可以被视为这两种损失类型的具体实现,例如InfoNCE,其目的是最大化在一批样本对中选择相似样本对的概率,并且可以被解释为两种样本视图之间的互信息(MI)的下界,这与InfoMax原则是一致的。
Chaccour等人提出利用对比学习方法对需要传输的数据进行预处理,将原始源数据分解为深度语义聚类,这种深度语义聚类可以将可学习的数据与可记忆的数据以及属于不同语义内容元素的数据点分离开来。随后,根据其置信度对形成的语义深度聚类进行排序,其中高置信度的深度语义聚类被认为是可学习的、语义丰富的数据,即可用于在语义通信系统中构建语言的数据。Hua等人使用图像类标签作为语义信息的额外来源,并通过有监督对比学习(SCL)鼓励将具有相同标签的样本聚类,进一步增强了对比学习。Tang等人将对比学习与语义通信相结合,将在有限信道上传输过程中发生的图像损坏视为数据增强操作的一种形式,并提出语义对比编码,以减少原始图像与重构图像之间的语义相似度,同时保持无关图像之间的语义相似度,以便更好地识别。Tian等人使用对比学习独立训练基于深度学习(DL)的图像编码器,从而使学习到的编码具有表现力,可以应用于各种下游任务。为了提高推理性能,Wu等人提出了一种基于对比学习的协同语义通信方案,该方案基于提取的特征之间的相关性,以粗到精的方式对提取的特征进行优化。
对比学习是一种自监督的表征学习方法,它通常通过数据增强得到正样本,通过负采样得到负样本,并使用目标函数增大正样本对在编码空间之间的距离,减小负样本对在编码空间之间的距离,从而获得具有判别性的编码表征;在基于图像传输的语义通信方面,通常通过旋转,裁剪,加噪等方式获得一个图像样本的不同视图,并将该图像样本的不同视图作为正样本;这种正样本的构建方式依赖于先验知识,即数据增强不会影响图像的标签;具体来说,对于一个小狗的图像,通过旋转、裁剪或加噪等方式对图像进行变换(一般变换程度比较小),该图像很难变成其他类别的图像(如汽车图像);因此,数据增强后的图像可以作为原图像的正样本;图像通常是连续的信息表示(尽管像素值被离散化处理),一个像素点的变化或像素点的整体变化通常不会导致图像的语义发生变化。
然而,目前基于对比学习的语义通信主要应用于图像传输,而对于文本传输的语义通信研究在国内外论文、专利中并未涉及。基于文本传输的语义通信,数据增强的方式要更为复杂,原因之一是文本为离散的信息表示,一个单词的改变或顺序的调整很可能会导致句子的语义发生变化,尤其是当文本序列非常短的时候,很容易导致正样本对之间语义不一致的问题。鉴于此,亟待提出一种具备抗噪声能力的语义通信方法。
实现思路