本技术公开了基于注意力引导特征蒸馏和原型对比对齐的联邦学习方法，通过结合注意力引导的特征蒸馏和原型对比对齐机制实现了在保护客户端隐私的同时提升联邦学习模型的个性化和泛化性能的功能。注意力引导的特征蒸馏技术用于解决历史信息遗忘问题，通过利用前一轮的本地特征提取器作为教师模型，并结合注意力机制指导新学生模型的学习，有效保留和传承客户端的个性化历史知识。原型对比对齐技术解决个性化与泛化之间的冲突问题，通过调整全局原型和本地原型之间的关系，并采用原型对比学习损失和原型对齐损失，增强模型在不同客户端数据上的区分能力，从而在保持个性化准确度的同时提高模型的泛化性能。
背景技术
联邦学习（FL）是一种分布式机器学习范式，旨在通过协作学习全局模型来解决数据隐私和通信限制等问题。在联邦学习环境中，多个边缘设备在本地数据上训练模型，然后将模型更新发送到中央服务器进行聚合，避免了将本地数据传输到云端的需要。作为一种高效的通信和隐私保护学习解决方案，联邦学习在现实世界的边缘计算应用中显示出了巨大的潜力。
然而，当数据在不同设备间是非独立同分布的，或者每个边缘设备执行不同任务时，学习单一全局模型可能会失败。在这些异构数据场景中，全局模型在特定客户端上的性能可能很差，甚至可能低于仅在本地训练的模型。此外，对于多任务应用，每个边缘设备可能有不同的最优模型。
进一步地，为了从客户端特定的角度解决联邦学习中的挑战，个性化联邦学习（PFL）引起广泛关注。在PFL中，每个客户端都可以训练一个在其本地任务上表现更好的个性化模型，从协作学习中受益，与非协作的本地训练相比。然而，PFL的一个关键挑战是在共享全局知识与保留局部任务特定知识之间取得平衡。
目前为了应对这一挑战，现有出现了一些相关的研究成果：基于参数解耦的方法，如FedRep和FedPer，将模型参数划分为个性化和共享组件。在这些方法中，只有共享组件会被聚合并传输到服务器以在客户端之间进行通信。关于参数解耦的研究已经表明，将训练过程分为表示学习和预测阶段带来了许多好处。例如，Mendieta等人、Yu等人已经注意到预测阶段与任务类型密切相关。这些洞见推动了将模型参数划分为特征提取器（backbones）和分类器（heads）的趋势。在这一策略下，模型的backbone被指定为共享组件，以在客户端间同步特征提取能力，而分类器则被定制为个性化组件，专注于客户端特定的、与任务相关的分类。这种解耦方法在一定程度上保留了历史本地知识，特别是FedRep，仅更新头部参数可以在一定程度上减轻历史信息遗忘的问题。另一方面，在表示学习方法中，FedProto引入了使用表示作为可共享信息的概念，这不仅尊重了隐私，还通过提供额外的知识增强了个性化。基于这一概念，最近的研究表明，如FedGH和FedPAC通过结合共享表示和全局模型，有效地从模型和表示中提取洞见，取得了显著的改进。这些方法的特点是利用具有相同标签的表示之间的知识，例如FedProto和FedPAC，它们通过计算相同标签表示之间的距离来实现正则化，而FedGH使用局部表示来监督全局投影层的训练，也专注于相同标签表示的对齐。
但现有的方法受到缺乏跨标签协作的限制，这可能限制了FL在客户端具有极端标签分布偏差时的泛化能力，从而导致个性化和泛化之间的冲突。因此，设计出能够解决历史信息遗忘问题的同时个性化与泛化之间的冲突的方法成为本领域技术人员亟待解决的技术问题。
实现思路