本技术涉及到一种用于多模态推荐的方法、电子设备及可读介质,该方法包括:在交互图上设计了图净化策略,以消除由用户注意力不均匀引起的噪声边缘。然后并行应用三个GCNs分别处理多模态特征和ID嵌入,获得了纯化的用户和物品的高阶表示。对于第二个限制,在冻结的用户‑用户和物品‑物品亲和图上执行消息传递,以聚合相似节点之间的特征。然后,将交互图和亲和图的学习结果进行求和。随后,通过引入对比学习任务,利用多模态属性固有的自监督信号,最大化ID嵌入与模态特征之间的互信息,从而实现无需数据增强的自监督学习。
背景技术
随着互联网技术的迅速发展和信息时代的到来,数据量急剧增加,推荐系统作为一种有效的信息过滤工具,已广泛应用于电子商务、社交网络和内容分发平台等多种场合。传统推荐系统通常依赖于用户与物品之间的交互历史,通过分析这些历史交互数据来预测用户的潜在偏好。然而,这类系统往往面临数据稀疏性问题,尤其是在新用户或新物品涌入时。
为了解决这一问题,研究人员开始探索多模态数据(如图像、文本和音频等)的使用,以丰富推荐系统的信息源。这些多模态数据能够提供更全面的物品描述,帮助系统更准确地捕获用户偏好的多个维度。尽管多模态推荐系统(MMRS)在一定程度上改进了传统推荐技术,但它们也面临一些新的挑战和局限性。
一个主要的挑战是如何有效地整合和利用来自不同模态的信息。早期的多模态推荐方法通常采用简单的线性融合或基于注意力机制的加权融合策略,但这些方法并未能充分利用模态之间的潜在关联。随着图形神经网络(GNN)在复杂系统中的成功应用,研究者引入了GNN来处理多模态数据,利用其强大的图结构数据处理能力来提取用户和物品的高阶特征,进而提高推荐准确性。
此外,自监督学习(SSL)作为一种新兴的学习范式,通过构建和利用数据自身的监督信号,已经在计算机视觉和自然语言处理等领域展示了其强大的性能。在推荐系统中,SSL可以通过数据增强和对比学习等技术,生成多个数据视图,并最大化正样本间的一致性以及最小化负样本间的不一致性,从而有效地提高模型的泛化能力和鲁棒性。
然而,现有的多模态推荐方法在处理模态特定噪声和利用自监督信号方面仍存在不足。一方面,固定的交互图模型可能引入由用户注意力不均引起的噪声边,这些噪声在图卷积过程中被不断放大,影响了学习效果的准确性。另一方面,现有的自监督学习策略在多模态推荐中往往依赖于随机数据增强,这可能引入偏差,影响最终的推荐性能。
实现思路