本技术涉及一种无监督异常检测方法及装置，利用扩散模型进行分层语义重构。该方法包括：接收待检测数据；利用预设模型对数据进行处理，实现多层语义重构；以及基于重构结果进行异常检测。该装置支持上述方法的实施。
背景技术
无监督的分布外(Out-of-Distribution，OOD)检测旨在通过仅从未标记的分布内训练样本中学习，确定数据点是否属于分布内(ID)或分布外数据集。OOD检测在开发安全的现实世界机器学习系统起着至关重要的作用，确保模型仅对与其训练数据相同分布的数据进行操作。如果测试数据不符合训练分布，模型可能会产生无意义的预测，导致一些误导性的结论。因此，OOD检测是确保模型鲁棒性和安全性的关键技术之一。
现有的研究主要在两种设置下研究OOD检测：有监督和无监督方法。其中，有监督方法通常基于分类，该方法通常使用最终全连接(FC)层的最大激活函数(Softmax)输出的概率作为评分来判断ID(In-Distribution)样本；但基于分类的OOD检测方法经常遇到将高激活函数输出的概率分配给OOD样本的问题。如Liu等人在文献“Hendrycks D，Gimpel K.Abaseline for detecting misclassified and out-of-distribution examples inneural networks[J].arXiv preprint arXiv:1610.02136，2016.”中和Sun等人在文献“Sun Y，Li Y.Dice:Leveraging sparsification for out-of-distribution detection[C]//European Conference on Computer Vision.Cham:Springer Nature Switzerland，2022:691-708.”中尝试缓解这个问题。无监督OOD检测大致可以分为基于距离的度量评估方法和基于生成模型的重建方法，基于距离的方法假设OOD数据远离ID类别的中心；Ren等人在文献“Ren J，Fort S，Liu J，et al.A simple fix to mahalanobis distance forimproving near-ood detection[J].arXiv preprint arXiv:2106.09022，2021.”中通过分离图像前景和背景并分别计算马氏距离，然后将它们结合来改进OOD检测；Techapanurak等人在“Techapanurak E，Suganuma M，Okatani T.Hyperparameter-free out-of-distribution detection using cosine similarity[C]//Proceedings of the Asianconference on computer vision.2020.”使用余弦相似性来衡量测试数据特征与ID数据之间的距离以识别OOD数据。这些方法通常无法准确捕捉样本分布。在基于生成模型的方法中，OOD检测利用了生成网络对ID和OOD数据产生不同重建误差的想法，如Sakurad等人在文献“Sakurada M，Yairi T.Anomaly detection using autoencoders with nonlineardimensionality reduction[C]//Proceedings of the MLSDA 2014 2nd workshop onmachine learning for sensory data analysis.2014:4-11.”中使用自编码器分析重建误差。基于GAN的方法，如chlegl等人在文献“Schlegl T，P，Waldstein S M，etal.Unsupervised anomaly detection with generative adversarial networks toguide marker discovery[C]//International conference on information processingin medical imaging.Cham:Springer International Publishing，2017:146-157.”中利用重建误差和判别器来检测异常；如Graham等人在文献“Graham M S，Pinaya WH L，Tudosiu P D，et al.Denoising diffusion models for out-of-distributiondetection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2023:2947-2956.”中应用了扩散模型来建模图像的像素级分布，使用多次重建的误差进行OOD检测。
现有的研究，在OOD检测过程，耗费时间长，计算效率低；因此，继续提供一种OOD检测方法，改善现有技术存在的上述缺陷。
实现思路