本技术实施例涉及前端测试技术领域,提供一种前端页面异常检测方法、装置、电子设备及介质,该方法包括:获取隐私保护处理之后的待检测的用户访问前端页面视频;对用户访问前端页面视频中每一帧页面进行元素抽取,得到每一帧页面的视觉元素;基于每一帧页面的视觉元素对每一帧页面进行分类,得到多个页面类别分别对应的多个帧页面;基于每个页面类别的页面元素特征对每个页面类别对应的多个帧页面进行异常检测。由此,在保护用户隐私的前提下,基于前端展示录屏的数据,利用无监督和监督机器学习,业务规则等基于组合策略实现前端异常检测,实现在保护用户隐私的前提下识别整个链路中的异常页面,异常跳转,从而自动化的挖掘前端显示异常。
背景技术
因为一些监管要求,部分企业需要对用户操作记录进行留底。在隐藏用户敏感信息,如身份证、手机号、姓名等详情的前提下,留底数据可以展示用户在软件或网页中的详细操作记录,以及用户可以看到的页面。如果能够基于这些类似录屏的数据进行挖掘,可以识别整个链路中的异常页面或异常跳转,从而自动化的挖掘前端显示异常,提升前端测试的自动化程度和覆盖面。
目前基于视频的物体检测算法,主要是计算机视觉有关的算法,其重点往往是真实视频的检测,在前端显示异常挖掘领域使用较为有限。一些和HTML页面有关的组件识别算法,其准确率和召回率不能得到保证。目前依赖人工进行异常检测的方法效率较低、识别准确率低、覆盖范围小。因此言之,如何在保护用户隐私的前提下,识别页面元素和页面的异常成为亟待解决的问题。
实现思路