[发明专利]高速率多通道时间序列数据存储方法

说明书

本发明公开了一种高速率多通道时间序列数据存储方法，包括：当数据采集达到第三时间片段长度时，对数据进行暂时存储；判断数据采集是否达到设定的数据采集总时长或数据总存储量；如果为是，则停止数据采集；如果为否，则每间隔第四时间片段长度进行异常检测；如果结果为正常，则将暂时存储的数据更新为最近的第三时间片段长度的数据，继续进行数据采集并重复是否停止数据采集的判断和异常检测，并且每当采集的数据量达到第一时间片段长度时，存储第二时间片段长度的数据，并计算数据的指标特征并存储；如果结果为异常，则继续采集和存储第五时间片段长度的数据，进行告警提示并停止数据采集。本发明能够有效减少数据存储空间，提高数据采集质量。

技术领域

本发明涉及数据存储方法，尤其涉及一种高速率多通道时间序列数据存储方法。

背景技术

在航空、航天、船舶、轨道交通、电力等领域中，长时间高速率多通道时间序列特征数据十分普遍。这些工业设备系统正常运行或试验过程中，产生海量实时状态监测数据，数据采样通道数量高达几十个甚至上百个，为了捕捉信号特征经常需要匹配更高的采样率，例如1M或更高的采样频率，因此长时间连续数据采集会带来诸多问题。例如，存储空间不够用，几百GB甚至TB级别的硬盘很快就写满了，不得不人工介入，停止采集待更换上新的存储介质才能继续，不但浪费人力，且破环数据采集的连续性。例如，长时间连续数据采集则产生了海量的时间序列数据，后续的数据分析需要遍历整个数据库才能从中提取数据并建立数据变化趋势，耗费大量时间，增加了数据分析难度。举一个典型例子，纹波作为DC-DC电源性能退化的关键特征指标之一，通常需要1M以上采用频率才能较为准确捕捉该特征，同时该特征是一个缓慢变化量，工业领域工程师较为关注的是纹波的长时间退化过程及其故障发生时间，因此既需要短时高速率采样同时又不必对每个变化不显著的数据片段进行全部保存。因此，如何开展高速率多通道时间序列数据的特征提取和存储等工作是一项重要工作。

现有技术之一是多源时间序列数据压缩存储方法，包含以下步骤：对各部署对象分组；将各部署对象组划分内部组；在内存中为每个内部组分配一个用于缓存的内存文件；在收到某量测点的时间序列数据时，进行第一级有损压缩，并根据该量测点所属的部署对象组和内部组，找到其对应的内存文件，将压缩后的数据缓存到内存文件中；在内存文件写满或达到预设的时间限制时，将内存文件映射到硬盘，进行第二级无损压缩，将压缩后的数据块存储到关系型数据库中。

该多源时间序列数据采用压缩存储方法受制于压缩比率和压缩速率，以及关系型数据库的实时性、访问查询效率限制。在数据采样通道数量非常多(100个以上)且采样率较高(1M以上)，该方法难以满足长时间高速率多通道时间序列数据的快速压缩和存储需求。

现有技术之二是一种基于分布式列存储的时间序列数据存储方法，使时间序列数据能够适应分布式列存储的存储方式。该方法使用由行键和列组成的系数表存储测点记录数据，行键包含了尽可能多的检索信息，每一行记录把某个时间段的分散采集的数据合在一起，同时设置了名称映射表存储名称信息。

该基于分布式列存储的时间序列数据存储方法受制于存储速度和检索查询效率等限制，难以满足长时间高速率多通道时间序列数据的快速压缩和存储需求。同时，一般而言，复杂工业设备系统长时间处于正常运行状态或者试验运行状态，相近时刻的数据变化较小，对所有监测的时间序列数据进行存储，对设备异常检测和长时间退化趋势建模作用不显著。当前压缩存储通常只考虑最大值、最小值和均值等特征指标存储，以便于检索查询，难以满足工业设备多源信号的多特征提取需要。

发明内容

本发明针对现有技术中存在的问题，提供一种高速率多通道时间序列数据存储方法，能够有效减少数据存储空间，提高数据采集质量，为后续故障复现和分析提供便利。