[发明专利]异构结构下的空间科学卫星大数据组织及查询方法

说明书

本发明公开了一种异构结构下的空间科学卫星大数据组织及查询方法，涉及空间科学卫星数据组织与存储技术领域，能够在统一时空下进行多源数据组织，存储管理海量特征参数，同时实现了统一的查询方式。其中数据组织方法是：首先解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中。采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据。采用关系型数据库分表的方式，存储时空索引数据。然后基于非关系型数据库和关系型数据库联合存储机制，构建以观测时间、观测目标位置、参数类型为查询条件的数据查询服务，从而建立统一的数据查询服务。

技术领域

本发明涉及空间科学卫星数据组织与存储技术领域，具体涉及异构结构下的空间科学卫星大数据组织及查询方法。

背景技术

2015年以来，我国陆续发射了暗物质粒子探测卫星、硬X射线调制望远镜、量子科学实验卫星、引力波暴高能电磁对应体全天监测器等空间科学卫星，持续获取了大量空间科学探测数据。这些数据是空间科学卫星在一定观测时间范围内，对指定目标进行探测的成果，数据内容包含能段、粒子数量、粒子沉积能量等表征观测目标的信息，以及卫星姿态、轨道、温度、压力等表征卫星平台、有效载荷工作状况的信息。按照每秒一条记录进行估算，每颗卫星每年每类数据产生3000多万条记录，按照卫星寿命5年、每颗卫星35类数据估算，单星寿命期内产生数据量约50多亿条。空间科学卫星数据总量达百亿甚至千亿数量级，迫切需要构建一种针对海量多源数据的高效组织方法。

现有的空间科学先导专项卫星数据地面管理系统中，按照国家空间科学中心提出的空间科学数据模型，卫星数据以FITS(Flexible Image Transport System)、ROOT(欧洲核子研究中心开发的一种数据格式)等学科专用数据格式保存在文件中，观测时间、观测目标空间信息、数据类型等文件元数据信息采用关系型数据库进行存储。获取数据时，首先需要检索文件元数据，获得数据文件存储地址；然后解析专用数据格式，从中抽取所需特征参数。由于各型卫星数据产品存储格式不同，获取特征参数的过程也不同，处理过程复杂且耗时；而且随着数据量的不断增长，元数据检索时间越来越长，数据获取的实时性越来越难以保证。目前以文件为粒度进行数据组织和存储的系统难以满足数据实时获取的要求。

随着非关系型数据库的发展，近年来发展出基于网格模型和非关系型数据库组织海量科学探测数据的方法。这类方法的主要步骤为：a基于网格剖分的思想，构建天球时空网格模型；b建立编码规则，对时空网格单元进行编码；c以网格单元编码作为行键，将海量科学探测数据存入HBase等非关系型数据库中。康栋贺等(支持时空耦合的HTM-ST日地空间系统数据组织模型[J].地球信息科学学报,2017,19(6):735-743.)提出建立HTM-ST离散化时空数据组织模型，采用时间、空间离散剖分的方式建立时空耦合编码，并以该编码构建行键，将日地空间数据存入HBase数据库。

以上基于网格模型和非关系型数据库的数据组织方法，存在以下缺点：

1、为确保HBase数据库行键的唯一性，每个行键(通常对应一个时空网格单元)不允许存在多条数据，因此需要按照最高分辨率来构建时空网格，而实际数据往往在时间或空间分辨率上存在差异，甚至存在一定的不确定性，该方法存在一定的操作难度；

2、由于HBase数据库行键采用字典序方式存储，采用时间、空间多重属性构建行键的方式，在点查询场景具备优势；针对范围查询场景，则需要逐层判断各个时空网格与查询范围的关系，在剖分细化的过程中不断逼近查询条件中的时空范围，或者进行全表扫描，查询耗时明显。

因此，在海量多源空间科学卫星数据组织领域，面对需要按照观测时间、观测目标位置进行联合查询和实时获取数据的需求，以上技术无法满足。

发明内容