海量小文件存储方法、装置、NFS服务节点和存储介质
2025-02-26 09:20
No.1344237688714436608
技术概要
PDF全文
本申请实施例提出一种海量小文件存储方法、装置、NFS服务节点和存储介质,涉及文件存储领域。根据当前时间段内请求队列对应的写入请求添加数量、当前时间段的前一时间段内存储至数据存储集群中的文件数量、请求队列在当前时间段的前一时间段的结束时刻对应的写入请求数量,计算请求队列在当前时间段内的增长因子;请求队列包括文件的写入请求,增长因子表征请求队列中的写入请求的增长情况;根据增长因子确定是否启用NFS服务节点中的缓存器对请求队列中的文件进行存储。从而能够避免在缓存器中持续写入,可在满足文件存储的低时延要求的同时,延长缓存器的使用寿命。
背景技术
在网络环境高速发展的情况下,各种数据呈现出几何式增长的状态,同时往往会产生百亿级的海量小文件,在此情况下,海量小文件问题是工业界以及学术界公认的难题。 目前,为了满足海量小文件存储的低时延需求,通常需要对硬盘驱动器设置缓存器作为磁盘缓冲区,例如固态硬盘等,以降低海量小文件存储的访问时延,但该方法需要在该缓存器中持续写入,从而会严重缩短缓存器的使用寿命。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
林杰
技术所属: 重庆紫光华山智安科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利