本技术公开一种数据全生命周期动态自动化管理方法、产品、介质及设备,涉及大数据存储领域。本发明首先获取公司服务器资源信息和数据库属性信息并计算数据存储的最优文件大小;通过自然语言解析模型从用户需求中解析出字段映射关系以及建表属性;基于建表属性,利用建表语法生成对应的建表脚本;基于数据库信息创建脚本和目标服务器的连接,用于执行生成的脚本;在完成脚本执行后,基于实时数据监控和数据预测获得数据每日变化清单;根据最优文件大小和数据每日变化清单计算表最优分区策略;根据表最优分区策略进行脚本和数据更新;根据建表属性中的存储时长定期清理过期数据。本发明能够简化数据管理流程,降低人力成本和中间需求传递的风险。
背景技术
目前,涉及大数据存储项目的公司往往采用手动处理方式进行数据生命周期管理,在业务需求出现后,首先由设计人员根据业务逻辑生成表字段设计,然后将表字段设计交给开发人员,开发人员根据数据库类型进行对应建表;运维人员增加对该表的数据监控,数据经过长时间存储后,判断是否需要调整分区;判断需要调整分区后,通知开发人员,开发人员经过分析后重建分区。此外,还需要运维人员监控数据保留天数(一般是365天),若存在超期数据,则进行删除。可见数据全生命周期管理需要设计、开发、运维三部门协作,人力成本高,流程复杂,且具有中间需求传递的风险。
实现思路