[发明专利]一种基于HDF5的分块式数据存储及读取方法

说明书

本发明公开了一种基于HDF5的分块式数据存储及读取方法，运行于Linux操作系统，使用HDF5分层数据格式，设计复合数据类型的分块属性数据集，对一次放电时间按照1s的长度进行分割，进行分块式存储与读取，以实现实时数据存储与数据读取；使用HDF5的可视化工具Hdfview查看存储的数据及属性，Qt读取HDF5文件，并进行波形显示与分析。本发明将分层数据格式HDF5应用于存储和管理数据的模型中，其数据存储规模可以无限大，具有可移植性。

技术领域

本发明涉及电源的数据存储与读取，具体是一种基于HDF5的分块式数据存储及读取方法。

背景技术

EAST（Experimental Advanced Super-conducting Tokamak）超导托卡马克聚变实验装置是国家九五重大科学工程，极向场电源系统是EAST装置的核心子系统之一，它为等离子体的产生、约束、维持、加热、以及等离子体电流、位置、形状的控制，提供必要的工程基础和控制手段。极向场电源系统由12套电源组成，每套电源主要有AC/DC整流器、晶闸管开关网络、失超保护系统、隔离开关组成。

目前极向场电源系统没有独立的数据存储与显示系统，而极向场在EAST装置中有着非常重要的作用，所以需研制一套适合极向场电源的数据存储与显示。极向场电源系统有接近200道信号，每个信号按照4个字节计算，数据采集频率为10KHz，放电时长为100s时的总数据量为800MB，放电时长为1000s时的数据量为8GB。如此庞大的数据量，并且具有脉冲特性的信号存储，关系数据库或者非关系数据库等不能满足需求，而MDSplus和HDF5都是存储长脉冲大数据的数据库，国际热核聚变ITER(International ThermonuclearExperimental Reactor)使用HDF5存储数据，为了与国际接轨，我们也将使用HDF5存储EAST极向场电源系统的所有数据。

分层数据格式HDF5实现了一种用于存储和管理数据的模型。HDF5旨在为诸如地球科学和气象学等领域提供通用数据格式。HDF5数据以分级格式存储，并且数据模型支持各种各样的数据类型和数据空间组织。HDF5提供Java、C和FORTRAN数据访问库，本文使用C接口库。数据存储规模可以无限大，具有可移植性，HDF5库没有限制存储数据文件大小，数据文件的内部组织结构可以任意复杂。HDF5库数据模型具有简单、通用的特点。HDF5文件包含两个主要结构：组（group）和数据集（dataset）。为了方便数据的组织，HDF5文件通过组的方式组织成树状结构，每个组都是树的节点。分组结构包含零个或多个组或数据集的实例。每一个数据集包含两部分的数据，元数据（Metadata）和多维数组（Data）。其中元数据包含多维数组相关的信息，比如维度信息、数据类型、属性等，而多维数组则包含数据本身。

发明内容

本发明是为了完善EAST极向场电源系统，提供一种基于HDF5的分块式数据存储及读取方法。

本发明是通过以下技术方案实现的：

一种基于HDF5的分块式数据存储及读取方法，其特征在于包括以下步骤：

（1）当放电开始时，创建HDF5文件，创建数据空间，设置分块属性，创建复合数据类型，使用所述分块属性和复合数据类型创建数据集；

（2）将一次放电时长按照1s的长度进行分割，循环存储数据，存储线程记当前存储的数据为第N块，接收数据线程根据TCP协议接收数据并存储到缓存中，当1s数据搜集完成时，存储线程将第N块数据写入到HDF5文件，接收数据线程则开始搜集第N+1块的数据，读取线程打开HDF5文件，打开数据集，获取数据空间，获取数据集维度，获取数据类型，然后等待存储线程发送的标志位；

（3）当第N块数据写完成后，存储线程发送标志位以及块索引号到读取线程，读取线程获取第N块数据集属性，并根据块索引号选择第N块，实现实时数据读取；