数据湖平台数据备份与灾难恢复解决方案
2025-02-11 15:25
No.1338893684879663104
技术概要
PDF全文
本技术属于数据处理技术领域,特别是一种依托数据湖平台实现的数据备份和灾难恢复系统。该系统涵盖数据备份模块,负责备份数据湖内的数据;快照模块,用于创建数据的即时快照;以及灾难恢复模块,确保在数据灾难发生时能够迅速恢复数据。
背景技术
数据湖平台可以帮助用户轻松地构建和管理大规模的数据湖,并提供高效的数据增量修改、快速的数据访问和分析以及完整的数据湖管理和元数据控制功能。 数据湖平台当前的数据备份和灾难恢复技术通常使用周期性全量备份策略,这意味着每隔一段时间将整个数据湖中的所有数据进行备份,并存储在不同的位置;然而,在数据湖中进行快速增量更新时,这种方法通常会导致备份数据的过时和低效。此外,这种方法可能需要大量的存储空间和带宽,从而增加了成本和复杂性。 中国专利公开号CN106407045A公开了一种数据灾难恢复方法,包括:对服务器虚拟化系统的工作站点上的元数据进行备份;对工作站点进行实时监视;当监视到工作站点发生故障,则利用元数据备份文件,在备用站点上进行相应的数据恢复处理,然后启动备用站点。本申请中需要对工作站点进行元数据备份,在监视到工作站点发生故障的情况下,将会利用元数据备份文件在备用站点上进行数据恢复处理,然后利用经过数据恢复处理的备用站点来接替之前发生故障的工作站点的工作进程,由此可以减少系统发生故障后的业务中断时间,降低了服务器虚拟化系统的系统故障给用户造成的不良影响。另外,本申请还相应公开了一种数据灾难恢复装置和包括该装置的服务器虚拟化系统。由此可见,所述数据灾难恢复方法存在由于数据湖中的数据量庞大,对数据进行备份时需要较长的时间,若在对数据依次进行备份时出现数据丢失会导致重要数据备份的及时性下降或导致数据丢失时刻的备份数据发生乱码,导致数据恢复的时长增加,从而造成数据备份的有效性下降的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
高海玲高经郡任相鹏
技术所属: 北京科杰科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利