[发明专利]异构结构下的空间科学卫星大数据组织及查询方法

权利要求书

1.异构结构下的空间科学卫星大数据组织方法，其特征在于，包括如下步骤：

S1、解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中；

S2、采用分布式非关系型数据库分表分区的方式，存储所述特征参数时间序列数据；

S3、采用关系型数据库分表的方式，存储所述时空索引数据。

2.如权利要求1所述的方法，其特征在于，所述解析空间科学卫星数据文件，抽取特征参数时间序列数据，构建时空索引，具体为：

调用专用的数据文件格式解析框架，解析空间科学卫星数据文件，从中抽取观测目标信息、卫星平台姿态轨道数据、卫星平台工况参数及有效载荷工况参数及其观测时间信息，形成特征参数时间序列数据；

基于抽取出的逐时刻卫星姿态数据构建逐时刻时空索引数据，所述逐时刻时空索引数据包括三列，分别为观测时间、观测目标赤经和观测目标赤纬；

基于特征参数时间序列数据、逐时刻时空索引数据，进一步建立观测时间、观测目标位置与特征参数的关联，将特征参数时间序列数据纳入到统一的时空框架中。

3.如权利要求2所述的方法，其特征在于，所述采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据，具体为：

采用HBase集群构建分布式数据库，存储步骤S1得到的特征参数时间序列数据，即基于HBase数据库以字典序排序方式存储行键的特点，以观测时间YYYYMMDDHHMMSS[UUU]作为行键建立参数表，一个参数表中包含单个特征参数或一组特征参数；其中YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选；

基于各特征参数的数据量对参数表建立时间分区索引，按照时间范围对参数表进行分区。

4.如权利要求1～3任一所述的方法，其特征在于，所述采用关系型数据库分表的方式，存储所述时空索引数据，具体为：

所述时空索引数据表示观测时间Time与观测目标赤经RA和观测目标赤纬DEC之间的关系；

采用关系型数据库MySQL，建立时空索引表；

所述时空索引表的库表字段包括Time、RA、DEC，其中Time具备唯一性，作为时空索引表主键，取值为YYYYMMDDHHMMSS[UUU]；YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选；

基于观测时间Time字段值对时空索引表进行分表存储。

5.异构结构下的空间科学卫星大数据查询方法，其特征在于，包括如下步骤：

构建数据层，所述数据层包括时空索引数据库和特征参数时间序列数据库；即采用如权利要求1～4任一所述的组织方法对异构结构下的的空间科学卫星大数据进行组织，得到时空索引数据库和特征参数时间序列数据库，二者组成数据层；

采用Webservice查询服务技术构建服务层，用于执行查询请求的接收、查询请求的解析、查询任务的发起、时空索引查询、特征参数时间序列数据查询以及查询结果返回；

所述服务层提供对外统一的数据查询服务接口，用于执行如下查询步骤：

接收数据请求方发起的查询请求；

解析所述查询请求，若查询请求仅包含时间信息时，直接发起特征参数时间序列数据查询任务，根据时间信息，在特征参数时间序列数据库中进行查询，并向数据请求方返回查询结果；

若所述查询请求包含观测目标位置信息，则发起时空索引数据查询任务，根据时间信息、目标位置信息，对时空索引数据库进行查询，返回符合条件的时间信息；然后根据符合条件的时间信息查询特征参数时间序列数据库，完成数据查询后，对多个任务的查询结果进行合并，向数据请求方返回查询结果。

6.如权利要求5所述的方法，其特征在于，所述特征参数时间序列数据库为采用HBase集群构建的分布式数据库，针对以时间点为查询条件的查询请求，调用HBase get方法对分布式数据库中参数表进行查询；针对以时间段为查询条件的请求，调用HBase scan方法对对分布式数据库中参数表进行查询。