本技术公开一种多模态风险内容识别方法和装置、系统、存储介质,包括:获取多种模态数据;将多种模态数据的风险内容通过各模态转换模型对齐到文本模态,形成统一文本摘要形式,同时进行基于相似案例检索增强推理。采用本发明的技术方案,能够全面精准识别潜在风险,并对其进行层次化分类。
背景技术
随着近年来深伪技术(Deepfakes)的显著进展,新型风险内容的出现给国家安全、经济社会稳定造成了严重威胁。然而,现有的内容检测技术在应对日益复杂、隐蔽、逼真、多样化的跨模态风险内容时,显示出明显的局限性:
1)往往聚焦于单个任务,仅能识别某种特定风险,导致模型的训练样本往往较为有限,对于非典型样本的泛化能力有限。
2)侧重于检测某种风险的有无,缺乏对风险的具体类别进行细粒度分类的能力,也无法准确定位到具体的风险点。
3)缺乏多模态能力,无法融合风险内容中跨模态的内容进行检测和分析,形成全面的风险画像,从而限制了对于复杂风险情景的综合分析能力。
4)不基于显式的内容理解,一方面无法对风险内容进行合理的分析,另一方面也使得风险检测的可解释性不足。
因此,为克服上述缺陷,需要在保证细粒度分类准确度的同时提升模型的多风险和跨模态泛化能力。目前,在风险内容检测领域,缺乏一个强大的、可私有化部署的、多模态通用的风险内容检测与分析平台。
实现思路