[发明专利]一种通量数据的汇聚重建方法

权利要求书

1.一种通量数据的汇聚重建方法，其步骤为：

1)在每个远端通量数据观测站点对实时通量数据进行采集并存储；

2)各远端通量数据观测站点对采集的通量数据进行元数据的抽取生成元数据文件，并将元数据文件传输到中心站点；

3)中心站点对收到的每一元数据文件，首先检查该元数据文件是否已经有对应的数据库表结构，如果无，则生成该元数据文件的数据库表结构；如有，则根据该元数据文件中的通量数据文件大小信息判断是否对该元数据文件描述的通量数据文件进行续传；如果需要续传，则进行步骤4)，否则，通知该元数据文件对应的远端通量数据观测站点进行文件备份并开启新文件的汇聚过程；

4)中心站点接收该元数据文件对应的远端通量数据观测站点采集的通量数据文件，并进行数据分片存储；

5)中心站点读取通量数据文件的站点信息查询到以该站点命名的数据库；

6)中心站点根据该通量数据文件名查询到该数据库中以该通量数据文件名对应的数据集合；

7)中心站点读取该通量数据文件的第i行数据R_i在该数据集合中进行检索并记录当前解析行数据r和当前偏移量o：如果该数据集合中有该第i行数据R_i，则在该数据集合中查询当前的行数据偏移量OS_n，接着读取该通量数据文件中偏移量位置OS_n的下一行数据R_n+1并记录此行的偏移量OS_n+1，更新r＝R_n+1、o＝OS_n+1；如果该数据集合中没有该第i行数据R_i，则更新r＝R_i、o＝OS_i；

8)中心站点从当前解析数据{r，o}开始依次读取通量数据文件中的数据直至末尾，将读取的数据按照所述数据库表结构存储到该数据集合。

2.如权利要求1所述的方法，其特征在于，根据该元数据文件中的通量数据文件大小信息判断是否对该元数据文件描述的通量数据文件进行续传的方法为：如果中心站点的通量文件的字节数不等于该元数据文件中描述的通量数据文件大小，则进行续传。

3.如权利要求1或2所述的方法，其特征在于，生成该元数据文件的数据库表结构的方法为：根据该元数据文件中的站点信息命名数据库，生成站点的数据库；根据该元数据文件中的文件信息命名数据集合，生成通量数据文件的数据集合；根据该元数据文件中的属性信息，生成文档的数据描述结构。

4.如权利要求1所述的方法，其特征在于，远端通量数据观测站点采用增量续传的方式将采集的通量数据文件发送给该中心站点。

5.如权利要求1所述的方法，其特征在于，依据特征要素对通量数据进行分片存储。

6.如权利要求1所述的方法，其特征在于，所述通量数据文件的格式为.dat文件格式；所述元数据文件的格式为.me文件格式。

7.如权利要求1所述的方法，其特征在于，所述中心站点采用NoSQL数据库存储所述通量数据文件。

8.如权利要求1所述的方法，其特征在于，所述元数据包括站点信息、数据采集所用的仪器信息、通量数据文件信息及采集参数信息。