本技术公开了一种基于多模态表征的在线学习认知异常学生检测方法及系统,属于异常检测领域。本发明首先获取学生学习过程中的多模态数据,构建学生关系图;然后将每个学生的多模态数据输入经过辅助分类任务预先训练的多模态学习表示模块中,获得每个学生对应的多模态嵌入;最后将多模态嵌入以及学生关系图输入预先通过对比学习框架训练的认知异常学生检测模块,获得目标节点对应学生的认知异常分数,本发明可以自动提取学生认知信息,避免人工处理的繁重工作,同时基于多视图多策略对比实现认知异常学生检测,能够在考虑多种影响因素的基础上对平台上学生的认知水平进行检测,辅助提升在线学习的效果。
背景技术
在线学习是一种利用计算机互联网或移动网络进行远程授课的学习方式,学生可以在虚拟教室中与教师互动。近年来,随着互联网技术的迅猛发展,在线学习逐渐成为一种主流的教学模式。随着在线学习规模的不断扩大,课堂中累积了大量的教育数据,为学生的个性化认知支持提供了新的可能性。在线课堂中产生的大量多模态教育数据(如文字、音频、视频等)与学生的认知状态密切相关。然而,在大规模在线学习场景下,人工处理这些多模态信息耗时耗力,使教师难以全面、及时地分析每位学生的认知状况。此外,学生的认知不足往往受多方面因素影响,表现形式多样,因此教师在大规模课堂中快速、准确地识别认知薄弱学生并提供针对性指导几乎是不可能的任务。由此,如何高效处理多模态数据并识别学生认知异常已成为在线教育中的关键难题。
在线课堂中的数据具有图结构特性,图结构作为通用的数据表示方法,可以有效地应用于在线课堂场景下的多模态数据建模。因此,在线学习场景下的认知异常学生检测可以视为一种基于多模态表示学习的静态图上的无监督节点级异常检测任务。目前,多模态表示学习方法主要依赖于监督或半监督学习方式,但在实际教学场景中,获得真实的教学数据标签难度较大。无监督节点级异常检测的主流方法可分为两类:一类是基于图自编码器的方法,如DOMINANT,它基于异常样本更难重构的假设,利用图卷积网络(GCN)构造自编码器,以重建属性矩阵和邻接矩阵来检测异常节点;另一类是基于对比学习的方法,如CoLA通过对实例进行采样来捕获网络数据的局部信息,并采用对比学习技术学习节点表示。
尽管这些方法取得了一定成效,但仍然存在显著不足之处:(1)当前方法大多仅从个别角度进行对比学习,缺乏对全方位消息的考虑,在线课堂中学生的认知往往会受到多种方面因素的影响;(2)节点间的交互信息在异常检测中未得到充分利用,而学生之间的互动在课堂中对认知变化至关重要;(3)未考虑到属性图上节点间的相关性对异常检测性能的影响,在线课堂中学生与学生之间存在不同程度的相关性,这些复杂关系会对异常检测造成干扰。
实现思路