本技术涉及一种基于国产化平台的NetCDF海洋数据解析存储方法及系统。该方法根据NetCDF文件的多维度、多变量数据特征,设计了一套适配达梦数据库的存储结构,包括表结构设计、表关联关系及查询分析存储过程。基于该存储设计方案,数据解析按照通用元数据、格网信息以及格点数据三个层次结构自定义解析。采用变量切片方法对三维、四维数据进行高效提取。进一步将海洋数据解析和存储方法应用于国产化平台,系统集成了从数据接入、解析、存储到查询分析的全流程解决方案,确保了海洋环境数据的高效管理和利用。有效填补了国产化平台下多源NetCDF文件数据处理和存储的一体化技术空白,进一步推动了国家信息系统的国产化进程。
背景技术
随着海洋观测手段的不断发展,从观测平台到数值模拟,海洋环境数据呈现出明显的多源异构特征。其中,NetCDF(Network Common Data Form,简称NC文件)作为一种常见的科学数据格式被广泛应用。然而这些格式文件数据需要先进行解析处理才能被有效利用,同时高效存储和管理大量解析后的海洋数据也成为当前亟需解决的问题。与此同时,国家正在大力推进信息系统国产化进程,迫切需要在全国产化平台上建立高效、可靠的技术方案。当前数据处理和存储技术大多部署在商用操作系统和非国产数据库平台之上。在推进国家信息系统国产化的大背景下,基于全国产化环境实现的NetCDF海洋数据解析和存储一体化解决方案还相对匮乏。
当前针对NC文件格式数据的解析方法主要包括:利用NetCDF标准库进行编程解析、使用第三方中间件可视化工具。但这些方法使用上存在一定不足,缺乏足够灵活性,尤其在编码解析之前往往需要先查看文件元数据信息(如变量、属性、维度等)。
在数据存储方面,目前针对这种NC数据解析结果的数据库存储技术方案不是很多。大多数技术人员在气象、海洋等领域的业务应用开发中,仍普遍采用直接读取格点化NetCDF数据文件的传统方式,缺乏对原始观测数据进行深度加工和高效存储管理的手段。
在海洋领域的业务应用开发中,从多源NC文件数据解析处理到高效存储入库的一体化应用系统或解决方案少之又少。当前尚未形成一套真正能够满足行业需求的产品级解决方案。
实现思路