一种支持元素级别删除操作的数据流基数估计方法
2025-02-22 20:20
No.1342954333653966848
技术概要
PDF全文
本技术涉及计算机技术领域,具体提供了一种支持元素级别删除操作的数据流基数估计方法,包括响应于更新操作,更新虚拟桶存储的桶数据序列;其中,所述虚拟桶设置有多个,每个所述虚拟桶均包括守卫单元和多个常规单元,所述守卫单元用于记录最小采样值,所述常规单元用于存储指纹;获取非空单元数量,根据所述非空单元数量和更新后的所述桶数据序列,计算每个所述虚拟桶的桶级基数;其中,所述非空单元数量为所述虚拟桶中存储有所述指纹的所述常规单元的数量;将各个所述虚拟桶的所述桶级基数进行累加,计算数据流的全局数据基数。本发明基于虚拟桶对目标数据动态更新并计算数据流的全局数据基数,内存利用率高,计算快而准。
背景技术
数据流基数指的是数据流中不同的数据元素的数量。在数据库管理、网络测量以及安全系统中,数据流基数估计是一个基础性任务,其能够为数据处理和资源管理提供关键支持,且数据流基数估计广泛应用于实时数据分析。示例性的,数据库系统可以通过监控不同查询、事务以及列值的数量,以便动态调整索引策略和资源分配,从而有效应对高并发的动态负载。在网络流量监测中,基数估算则用于跟踪IP地址和连接的唯一性,以识别异常行为。在网络安全领域,基数估算技术被用于实时分析入侵检测系统(简称IDS)中的数据包,及时检测异常活动,确保系统稳定性。 传统的数据流基数估计方法包括PCSA、LogLog和HyperLogLog等。尽管这些传统的数据流基数估计方法在插入操作和内存效率方面展示了极大优势,但由于无法应对数据元素的删除需求,导致了这些方法在动态应用场景中的适应性受限。也有基于哈希表的“right-to-be-forgotten”数据流模型(简称RFDS),能够支持对特定数据元素的手动删除操作,但RFDS处理速度在复杂度和内存利用率方面表现出明显的不足。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
舒亚鹏  黄河  杜扬  孙玉娥  汤健智
技术所属: 苏州大学
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利