负载均衡编码数据修复技术及设备
2025-02-11 14:05
No.1338873544234508288
技术概要
PDF全文
本技术介绍了一种负载均衡编码数据修复技术及其设备,属于数据存储与恢复技术领域。该技术依据损坏和完整磁盘的数据特征,采用BROR协同修复算法对损坏磁盘进行修复。
背景技术
在现代数据存储系统中,特别是在大规模的云数据中心和分布式存储系统中,数据的安全和高效恢复是核心要求。纠删码作为一种广泛应用的技术,能有效提高存储系统的容错性,尤其在面对硬盘故障时,能保证数据的完整性和可访问性。然而,随着数据量的不断增长和存储系统规模的扩大,现有的纠删码技术面临着一系列挑战,尤其是在数据恢复的效率和系统负载均衡方面。 传统的纠删码技术通常在一个磁盘发生故障时,需要从多个完整磁盘中读取大量数据以重建丢失的数据。这种方法在小规模系统中表现尚可,但在大规模数据中心,这种数据恢复策略会导致巨大的I/O负载和网络带宽消耗,严重影响系统的整体性能和响应时间;近年来出现的诸如RDOR等技术采用了协同修复算法,通过重复利用各个磁盘间的重复数据,达到降低数据传输量的效果。但这类方法存在着校验盘数量有限的限制,当磁盘阵列中校验盘数量大于二时,RDOR等方法将会失效;此外,其在数据恢复过程中的负载通常在不同的节点之间分配不均,某些节点可能面临过高的负载,而其他节点则相对空闲,这种不均衡进一步加剧了系统的性能瓶颈。 现有技术虽然尝试通过优化纠删码的设计和实现来改善恢复效率,但这些技术仍未能解决在大规模环境中快速、均衡地恢复数据的需求。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
黄志杰  史宇龙  韩淑捷  赵楠楠  李浩然  赵承佳
技术所属: 西北工业大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利