本技术属于数据处理技术领域,特别是一种依托数据湖平台实现的数据备份和灾难恢复系统。该系统涵盖数据备份模块,负责备份数据湖内的数据;快照模块,用于创建数据的即时快照;以及灾难恢复模块,确保在数据灾难发生时能够迅速恢复数据。
背景技术
数据湖平台可以帮助用户轻松地构建和管理大规模的数据湖,并提供高效的数据增量修改、快速的数据访问和分析以及完整的数据湖管理和元数据控制功能。
数据湖平台当前的数据备份和灾难恢复技术通常使用周期性全量备份策略,这意味着每隔一段时间将整个数据湖中的所有数据进行备份,并存储在不同的位置;然而,在数据湖中进行快速增量更新时,这种方法通常会导致备份数据的过时和低效。此外,这种方法可能需要大量的存储空间和带宽,从而增加了成本和复杂性。
中国专利公开号CN106407045A公开了一种数据灾难恢复方法,包括:对服务器虚拟化系统的工作站点上的元数据进行备份;对工作站点进行实时监视;当监视到工作站点发生故障,则利用元数据备份文件,在备用站点上进行相应的数据恢复处理,然后启动备用站点。本申请中需要对工作站点进行元数据备份,在监视到工作站点发生故障的情况下,将会利用元数据备份文件在备用站点上进行数据恢复处理,然后利用经过数据恢复处理的备用站点来接替之前发生故障的工作站点的工作进程,由此可以减少系统发生故障后的业务中断时间,降低了服务器虚拟化系统的系统故障给用户造成的不良影响。另外,本申请还相应公开了一种数据灾难恢复装置和包括该装置的服务器虚拟化系统。由此可见,所述数据灾难恢复方法存在由于数据湖中的数据量庞大,对数据进行备份时需要较长的时间,若在对数据依次进行备份时出现数据丢失会导致重要数据备份的及时性下降或导致数据丢失时刻的备份数据发生乱码,导致数据恢复的时长增加,从而造成数据备份的有效性下降的问题。
实现思路