数据全生命周期动态自动化管理方法、产品、介质及设备
2025-02-23 12:14
No.1343194680468447232
技术概要
PDF全文
本技术公开一种数据全生命周期动态自动化管理方法、产品、介质及设备,涉及大数据存储领域。本发明首先获取公司服务器资源信息和数据库属性信息并计算数据存储的最优文件大小;通过自然语言解析模型从用户需求中解析出字段映射关系以及建表属性;基于建表属性,利用建表语法生成对应的建表脚本;基于数据库信息创建脚本和目标服务器的连接,用于执行生成的脚本;在完成脚本执行后,基于实时数据监控和数据预测获得数据每日变化清单;根据最优文件大小和数据每日变化清单计算表最优分区策略;根据表最优分区策略进行脚本和数据更新;根据建表属性中的存储时长定期清理过期数据。本发明能够简化数据管理流程,降低人力成本和中间需求传递的风险。
背景技术
目前,涉及大数据存储项目的公司往往采用手动处理方式进行数据生命周期管理,在业务需求出现后,首先由设计人员根据业务逻辑生成表字段设计,然后将表字段设计交给开发人员,开发人员根据数据库类型进行对应建表;运维人员增加对该表的数据监控,数据经过长时间存储后,判断是否需要调整分区;判断需要调整分区后,通知开发人员,开发人员经过分析后重建分区。此外,还需要运维人员监控数据保留天数(一般是365天),若存在超期数据,则进行删除。可见数据全生命周期管理需要设计、开发、运维三部门协作,人力成本高,流程复杂,且具有中间需求传递的风险。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
杨玉麟孙宇声范世昌
技术所属: 陆泽科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利