[发明专利]一种面向OSS对象存储的GIS数据质检与入库方法

说明书

本发明提供了一种面向OSS对象存储的GIS数据质检与入库方法，包括以下步骤：将GIS数据包上传至OSS；构建FME服务模块；整合所述FME服务模块为支持分布式和OSS对象存储的API服务；将上传成功后的GIS数据包记录至控制表，并设处理状态为未处理；搜索控制表中未处理的GIS数据包，并根据GIS数据包对应的处理类型调用API服务执行相应的FME服务模块，并利用FME服务模块对GIS数据包进行质检与入库处理。利用本设计采用的OSS、分布式等技术实现资源弹性调度、按需提升系统处理能力和吞吐量，有效地简化了用户GIS数据质检与入库的流程，降低了用户使用门槛，用户操作更简洁，提高了工作效率。

技术领域

本发明属于数据质检与入库技术领域，尤其涉及一种面向OSS对象存储的GIS数据质检与入库方法。

背景技术

GIS数据质检与入库作为核心功能，是推进国土空间治理体系和治理能力现代化建设、落实规划和自然资源“以图管地、精准施策”的必要条件，现有的GIS数据质检与入库的方法有两种，一种是用户在本地通过应用程序完成质检后连接数据库入库，该方法的缺点是用户必须配备昂贵的辅助设备、安装本地应用程序并掌握其操作方法、数据库的用户名密码等连接信息易泄露；另一种是在服务端构建文件服务器，用户上传数据文件后调用API或功能模块完成GIS数据质检与入库，该方法简化了操作流程、更好地保障了数据库安全，但是现有的文件服务器在多用户、高并发应用环境下，存在读写速率低、传输速率慢、共享不便捷、资源争夺严重等问题，更不支持分布式、集群化应用和资源弹性调度，对开发相应的API功能模块的时间、技术成本较高，不利于全面推广应用。

发明内容

针对现有技术中的上述不足，本发明提供的一种面向OSS对象存储的GIS数据质检与入库方法，解决了现有技术在多用户、高并发应用环境下存在的效率低、资源争夺严重、数据库安全隐患等问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种面向OSS对象存储的GIS数据质检与入库方法，包括以下步骤：

S1、将待质检和入库的GIS数据进行打包，并将GIS数据包上传至OSS；

S2、根据上传的GIS数据包及其对应的质检和入库规则，构建FME服务模块；

S3、整合所述FME服务模块为支持分布式和OSS的API服务；

S4、判断所述GIS数据包是否上传成功，若是，则将生成的GIS数据包记录至控制表，并设其处理状态为未处理，并进入步骤S5，否则，重复步骤S4；

S5、搜索控制表中处理状态为未处理的GIS数据包，并根据所述GIS数据包对应的处理类型调用API服务执行相应的FME服务模块，并利用FME服务模块对GIS数据包进行质检与入库处理；

S6、判断控制表内未处理的GIS数据包是否全部处理完成，若是，则完成对数据质检与入库的处理，否则，返回步骤S5，直至未处理的GIS数据包全部完成处理。

本发明的有益效果是：本发明充分利用OSS技术实现GIS数据质检与入库的分布式、集群化部署和应用，提供一种高并发、分布式、集群化环境下的GIS数据质检与入库，解决了现有技术在多用户、高并发应用环境下存在的效率低、资源争夺严重、数据库安全隐患等问题，利用本设计采用的OSS、分布式等技术实现资源弹性调度、按需提升系统处理能力和吞吐量，有效地简化了用户GIS数据质检与入库的流程，降低了用户使用门槛，用户操作更简洁，提高了工作效率。

进一步地，所述步骤S2具体为：

将上传的GIS数据包及其对应的质检和入库规则进行组合，并用一个代码表示一类组合，并利用所有组合构建FME服务模块，完成对FME服务模块的构建，其中，一个组合对应一个FME服务模块。