[发明专利]一种野外地质调查数据实时汇聚方法及系统

权利要求书

1.一种野外地质调查数据实时汇聚方法，其特征在于，包括：

获取待汇聚的项目文件，所述项目文件包括多个子项目文件；

布设一个Hadoop集群，所述Hadoop集群用于在线存储各所述子项目文件中的野外地质调查数据；

将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录；

记录各子项目文件中野外地质调查数据的资源描述信息，并存储至数据库中；

将所述项目成果资料数据复制至二级项目；

更新所述资源描述信息，所述资源描述信息包括资源类型、资源名称和资源大小；

将各所述子项目文件中的野外地质调查数据内容抽取出来存储到所述Hadoop集群。

2.根据权利要求1所述的野外地质调查数据实时汇聚方法，其特征在于，所述方法还包括：

获取各所述子项目文件中的野外地质调查数据内容的大小；

根据各所述子项目文件中的野外地质调查数据内容的大小传输文件。

3.根据权利要求2所述的野外地质调查数据实时汇聚方法，其特征在于，所述根据各所述子项目文件中的野外地质调查数据内容的大小传输文件，具体包括：

获取设定子项目文件大小值；

若所述子项目文件中的野外地质调查数据内容的大小大于所述设定子项目文件大小值，则将所述子项目文件进行分片传输，并将传输后的片文件合并为一个完整的项目文件；

若所述子项目文件中的野外地质调查数据内容的大小小于或等于所述设定子项目文件大小值，则直接传输所述子项目文件。

4.根据权利要求1所述的野外地质调查数据实时汇聚方法，其特征在于，所述子项目数据目录包括：区域地质图、野外路线数据、地质文档资料和卫星遥感影像以及其他用户自定义的文件夹。

5.根据权利要求1所述的野外地质调查数据实时汇聚方法，其特征在于，所述将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录，具体包括：

将所述野外地质调查数据按照不同的数据类型进行组织存储形成子项目数据目录；

将所述地质调查数据按照对应的数据类型上传至相应的所述子项目数据目录中，得到项目成果资料。

6.根据权利要求1所述的野外地质调查数据实时汇聚方法，其特征在于，所述记录各子项目文件中野外地质调查数据的资源描述信息，并存储至数据库中，具体包括：

采用统一资源标志符记录各子项目文件中野外地质调查数据的资源描述信息，并存储至hive数据库中。

7.一种野外地质调查数据实时汇聚系统，其特征在于，包括：

项目文件获取模块，用于获取待汇聚的项目文件，所述项目文件包括多个子项目文件；

Hadoop集群布设模块，用于布设一个Hadoop集群，所述Hadoop集群用于在线存储各所述子项目文件中的野外地质调查数据；

项目成果资料形成模块，用于将各所述子项目文件中的野外地质调查数据分别对应上传至不同数据组织形式的目录，形成项目成果资料，所述目录包括多个子项目数据目录；

资源描述信息记录模块，用于记录各子项目文件中野外地质调查数据的资源描述信息，并存储至数据库中；

数据汇聚模块，用于将所述项目成果资料数据复制至二级项目；

更新模块，用于更新所述资源描述信息，所述资源描述信息包括资源类型、资源名称和资源大小；

抽取模块，用于将各所述子项目文件中的野外地质调查数据内容抽取出来存储到所述Hadoop集群。

8.根据权利要求7所述的野外地质调查数据实时汇聚系统，其特征在于，所述系统还包括：

数据内容大小获取模块，用于获取各所述子项目文件中的野外地质调查数据内容的大小；

传输模块，用于根据各所述子项目文件中的野外地质调查数据内容的大小传输文件。