计算机领域中基于误差限制的希尔伯特树索引构建技术
2025-02-12 12:40
No.1339214687539306496
技术概要
PDF全文
本技术涉及计算机应用技术,介绍了一种在有向路网上构建误差受限的希尔伯特树学习索引的新方法。该技术通过将时空数据样本映射到位置-时间网格,并利用希尔伯特曲线对网格单元进行排序,以实现高效的数据索引。
背景技术
近些年随着移动设备的广泛使用以及定位设备精度的提高,大量移动轨迹被收集存储到移动数据轨迹库中。这些数据包含着移动对象的行动特征和交通信息,通过挖掘轨迹数据,可以总结人群移动规律,改善路网交通状况。目前环境下,轨迹数据呈现出数量繁多、高维复杂等特点,如何高效地查询轨迹数据成为一个关键问题。 目前的多维学习型索引可以分为模型拟合布局模式和模型生成布局模式。在模型拟合布局模式下,数据的存储顺序是预先确定好的,将数据按照某种固定的模式排序并放置,然后基于这种排序顺序训练模型来预测数据的位置,数据布局决定了训练模型。QiJianzhong等人在“Effectively Learning Spatial Indices”论文中提出了RSMI索引,该索引的核心思想是将多维空间中的点映射到排名空间,使用空间填充曲线对数据点进行排序,为每个数据点分配一个曲线值。排序结束后按照曲线值对数据点进行分块操作,训练一个多层感知器学习点的坐标到存储块位置的索引,递归地对数据进行分区和模型学习,直到每个分区的点数不超过设定的阈值为止。Zhang Songnian等人在“Efficient LearnedSpatial Index With Interpolation Function Based Learned Model”论文中提出了SPRIG+索引,该索引的核心思想是基于数据分布构建一个自适应网格,将空间划分为多个单元格。然后采用空间插值函数和动态编码技术构建IH-tree+索引。在进行范围查询时,通过插值模型预测查询点在网格中的位置,通过IH-tree+结构进行查询。 在模型生成布局模式下,首先选择一种能合理表示数据布局的模型,通过训练这个模型决定数据的存储分布,数据模型直接决定了数据布局。Li Pengfei等人在“LISA:ALearned Index Structure for Spatial Data”论文中提出了LISA索引,该索引将空间划分为网格单元,并根据坐标轴进行编号排序。然后LISA根据单元格的边界构建部分单调函数,通过这一预测函数将数据从多维空间映射到一维空间中。 现有的多维学习索引在处理大量高维轨迹数据时会面临冗余查询的问题,在进行磁盘读取操作时,系统可能会访问重复或者不必要的数据,增加了磁盘I/O操作的负担,降低了查询的总体性能。虽然上述提出的学习型索引方法通过降维、空间填充曲线、插值函数等方法处理、放置数据并训练机器学习模型以学习样本集的分布,但是他们都受限于数据的冗余扫描问题,此外,面对倾斜数据时,不均匀的数据密度分布也会导致学习模型的预测精度下降、搜索成本上升。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
韩京宇  陈进  晏鑫鑫  张怡婷
技术所属: 南京邮电大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利