[发明专利]一种基于自适应元数据模板的多源异构空间数据归档方法

说明书

本发明公开了一种基于自适应元数据模板的多源异构空间数据归档方法，属于空间数据管理技术领域。该方法通过构建元数据解析模板，在进行数据归档入库的过程中从数据库实时读取模板信息，完成对空间数据元数据编目信息的动态解析；利用线程池的工作机制，实现数据归档线程的并发启动和回收，使软件可以多线程、高效率运行；设计数据归档任务管理的机制，综合考虑数据归档入库的元数据解析、规范化处理、编目入库、归档存储等过程，实现数据归档入库任务的批量化、高并发、高可靠运行。本发明根据各类空间数据的特点，定制生成元数据解析模板，并规避现有数据归档过程中的各项问题，可实现动态自适应、高可靠、高效率的多源异构空间数据归档。

技术领域

本发明涉及空间数据管理技术领域，特别是指一种基于自适应元数据模板的多源异构空间数据归档方法，可应用于对遥感数据、海洋数据、气象数据和地理信息数据进行归档处理。

背景技术

目前，卫星遥感技术已经在军、民、商各领域得到广泛应用，卫星系列众多。各类空间数据在经过处理之后都需要进行存储，在获取到数据文件后需要对其中的元数据文件（一般为XML文件）进行解析，然后将解析出的元数据编目信息存储到数据库中，同时将数据文件按照规则存放到指定的位置。

目前，主流的数据归档方法大致都分为数据解析、元数据入库和数据归档等步骤。其中，数据解析中的元数据解析模块通过不同的函数在软件程序中直接进行定义，由于不同卫星/级别/传感器/类型的元数据信息结构各异，如果后期有新的空间数据需要进行解析处理，或者原有的数据格式发生了变化，就需要为其定制开发新的元数据解析模块，以实现数据解析的适配。在新增数据很多的情况下需要频繁修改软件。而且，在空间数据量变得很大时，往往归档入库的效率都会大幅减弱，对后续的数据处理、数据共享等操作都会产生很多不利的影响。

发明内容

有鉴于此，本发明的目的在于避免上述背景技术中的不足而提供一种基于自适应元数据模板的多源异构空间数据归档方法，该方法的元数据解析方式灵活可配置，新增数据或者数据发生变化时无需修改代码。

为了实现上述目的，本发明采用的技术方案为：

一种基于自适应元数据模板的多源异构空间数据归档方法，包括以下步骤：

（1）针对一种新的数据类型，通过上传元数据文件，自动解析抽取元数据文件的树结构信息；

（2）根据元数据文件的树结构获取所有叶子节点的元素信息，配置其对应的数据库字段和中文含义信息，

（3）联合抽取元素信息和对应的数据库字段、中文含义信息，将信息分类汇总，自动生成元数据解析模板并保存到数据库中；所述元数据解析模板包含元素路径、数据库字段、字段类型以及中文含义；

（4）启动数据扫描线程读取空间数据存放的监视目录信息，根据监视目录对应的元数据命名标识确定要进行归档处理的数据集合；

（5）遍历符合命名标识的数据集合，将空间数据依次剪切到临时目录中并创建数据归档任务；

（6）启动任务扫描线程扫描数据库中等待处理的数据归档任务，根据其数量从线程池中启动相同数量的任务处理线程；

（7）任务处理线程根据数据归档任务中的元数据标识从数据库中自动读取对应的元数据解析模板，对空间数据进行元数据解析；

（8）将解析出来的元数据信息进行元数据规范化处理，将规范化的元数据信息进行编目入库，并将空间数据实体按照规则归档存储到存储目录中；

（9）在任务处理线程执行空间数据归档操作后将该线程进行回收，同时通知数据扫描线程进行归档任务闭环。

本发明与背景技术相比具有如下优点：