[发明专利]数据处理系统中的数据分级抽样方法

说明书

公开了数据处理系统中的数据分级抽样方法，包括：对元数据进行分级抽样预处理，将每个抽样间隔内元数据的最值存入下一级数据文件中；根据数据查询请求确定查询时间段；基于查询时间段确定需要加载的数据文件的初始级别数x₀；查询x₀级数据文件的元数据并显示。通过对原始数据进行分级抽样，能够减少查询的数据量，降低数据出库压力；在接收到数据查询请求后，首先根据查询时间段确定需要加载的数据文件的初始级别数，通过确定出的初始级别数查询对应的数据文件并显示，能够大大降低数据出库压力，实现任意时间段内数据曲线的加载。此外，本发明还可以实现对数据曲线的动态缩放，使整个数据处理系统可以实现数据的快速查询与数据曲线的局部缩放查看。

技术领域

本发明涉及数据处理技术领域，尤其涉及数据处理系统中的数据分级抽样方法。

背景技术

以下对本发明的相关技术背景进行说明，但这些说明并不一定构成本发明的现有技术。

新一代导弹武器向信息化、智能化发展，产生的试验数据大规模的增加，对数据的解析、存储和查询都提出了更高的要求。对于导弹武器长时间加电产生的海量数据，需要有专门的数据处理系统和专网负责数据的处理与传输。

以往的武器研制试验通常采用云平台或者国外数据处理系统对实验数据进行处理。但是云平台基于web的应用具有潜在的安全风险，在少数情况下会产生数据丢失，这对于武器研制是致命的缺点。国外的数据处理系统虽然性能稳定，处理速度快，但是国外数据处理服务器等基础设备和软件存在各种漏洞和后门。为了保障导弹武器研制的安全性，亟需使用基于全国产化的数据处理平台。

目前国产化软硬件相比于国外同类产品，性能还有很大的差距。例如，由于数据库无法承受大量数据出库的压力，所以无法实现对较长时间段内数据的实时查询加载，目前型号中已有的数据处理系统只能一次加载一天的试验数据，导致国产化平台在处理海量数据时难以满足导弹武器的性能要求。

发明内容

本发明的目的在于提出数据处理系统中的数据分级抽样方法，能够减少数据出库压力，实现实时查询任意时间段的数据，提高数据处理系统的数据查询性能。

根据本发明的数据处理系统中的数据分级抽样方法，包括如下步骤：

S1、根据接收的数据查询请求确定查询时间段；

S2、基于查询时间段，按照公式1确定需要加载的数据文件的初始级别数x₀：

式中，t为查询时间段；T为采样间隔，即相邻两个抽样间隔之间的时间差；m为显示界面的最佳显示数据个数；x₀为需要加载的数据文件的初始级别数；z为抽样间隔，即每个采样间隔内元数据的数量；

S3、从数据系统中查询与x₀数据文件的元数据并显示；

其中，每个元数据按照如下方式进行预处理并存入数据系统：

S01、按照时间顺序将发送到数据处理系统的原始数据经过数据解析后，按照预设的数据存储格式存储在数据处理系统的0级数据文件中；

S02、针对i级数据文件，根据预设的抽样间隔抽取i级数据文件中的元数据，按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中；i为不小于0的整数。

优选地，步骤S02具体为：针对i级数据文件，根据时间顺序将存入i级数据文件的每z个元数据作为一组，按照时间顺序将每组元数据的最大值和最小值存入数据处理系统的i+1级数据文件中。

优选地，步骤S3中采用数据列表的形式显示数据文件的元数据；或者，

步骤S3中根据查询到的数据文件的元数据生成数据曲线并显示。