本技术公开了一种基于多尺度特征融合的对动物图像的零样本分类方法,该方法包括:通过利用ResNet101第三层与第四层的不同尺度特征,在零样本分类任务中进行局部特征的挖掘;将第三层与第四层特征输入多尺度特征增强模块,增强特征判别性;设立跨层融合模块,通过学习对方层的特征产生交互,增强模型泛化能力;将同层的特征融合,并输入到属性关注模块。本发明充分利用了不同层的特征信息,减少了零样本分类任务中,模型对可见类的偏见,提升了广义零样本和零样本分类的准确性。
背景技术
零样本学习(Zero-shot learning,ZSL)是机器学习领域中一项关键的研究方向。传统监督学习通常要求在训练阶段接触到所有可能的类别样本数据,但在现实中,获取所有类别的样本数据是不可行的。这导致了一个重要的挑战:当模型在实际应用中遇到未见过的类别时,传统方法会失效,因为它们无法从已有数据中学习到关于新类别的信息。在实际场景中,新类别的样本数据可能极其有限甚至不存在。例如,一个动物识别模型可能在训练阶段只接触到猫和狗的图像数据,但在现实中可能会遇到斑马、大象等模型未见过的动物。这种情况下,传统的监督学习模型无法正确分类或识别这些新类别。
为解决这一问题,零样本学习的出现成为了必然。其核心思想是通过利用已知类别的信息来辅助模型对未见类别进行推断和分类。这种方式被视为一种泛化能力的体现,即使在没有直接观测到的类别情况下,模型也能做出合理的推断。为了实现这一目标,研究者们尝试了多种方法和技术。零样本学习的一个关键思路是基于属性的方法。这种方法认为每个类别都可以由一组属性描述,例如,动物可以由毛发颜色、体型大小等属性来刻画。通过利用已知类别的属性信息,模型可以推断出新类别的属性,从而实现对未知类别的识别。另一个重要的思路是生成式模型,如生成对抗网络(GANs)。生成式模型可以生成类似于训练数据的新样本,即使没有直接观测到的类别,也能通过生成模型生成该类别的样本,帮助模型学习新类别的特征。
零样本学习可以解决传统监督学习中局限性和数据稀缺性的问题。并且零样本学习还有其自身的势。人类在面对未知概念时,常常能够基于已有知识进行推断和归纳。零样本学习试图模仿人类的认知过程,尤其是在面对新概念时的推断能力。
零样本分类任务中,局部信息捕获和挖掘十分重要。局部信息通常与特定类别或属性相关联。在零样本分类中,即使没有见过某个类别的样本,局部信息仍然可以提供关于该类别特征的重要线索。局部信息如纹理、形状、边缘等,能有助于提供更具体和细致的图像描述,通过这些信息,模型可以更好地理解图像内容,并将其与已知类别进行关联。并且局部信息能够提供更具判别性的特征,有助于区分不同类别之间的差异。在零样本分类中,这些特征可以帮助模型准确地识别和归类未知类别,并提高模型的泛化能力。
实现思路