[发明专利]一种基于数据血缘的页岩气田地面工程数字化移交方法

说明书

本发明提供了一种基于数据血缘技术的页岩气田地面工程数字化移交方法，通过基于数据血缘技术的页岩气田地面工程数字化移交技术，包括在数据采集、存储、服务化和成果回存过程中的一整套技术方案和数据血缘关系配置、接口封装方法以及可视化数据血缘图的构建等，实现了整个数据链路都得以完整处理和管控，打通了数据的全生命周期，形成了数据闭环，从而使数据在整个数据链路中不断地提升质量和服务能力。

技术领域

本发明属于数据移交领域，具体地说，涉及一种基于数据血缘的页岩气田地面工程数字化移交方法。

背景技术

传统的工程建设数字化移交，将项目所涉及的数据人为整合起来，按项目里程碑进行阶段移交，移交内容包括设计/采购/施工过程中产生的各类文档、图纸和分布在各类专业软件中的数据/模型。在移交过程中数据提供方和数据接收方需要一起对移交数据的完整性、一致性、正确性、时效性进行检查，移交工作量巨大。

当出现数据问题时，需要通过人工比对从海量文档中查找数据来源，发现数据问题所在，不仅效率低下容易出错，而且还会浪费大量的人力物力。若无法对数据进行有效溯源，则会导致误差逐渐累积，最终影响工程对象的正常生产运营。

在众多的项目实践中，对数据血缘关系的追溯往往能停留在系统或者表级别层次，通过数据流的方式来管理血缘关系，在字段级别的血缘关系定义和查看表现不甚理想。

而页岩气田地面工程建设过程中涉及的专业繁多，在设计、施工建造、调试过程中产生大量的、不同格式的数据，并分布在不同的专业软件上。在集中建设和数据移交时期，工程数据移交复杂且工作量大，需要标准化、规范化工程数据的采集、处理和存储，以保障移交工作的有序进行，提高生产准备效率。需要一个统一的平台来采集各个专业所需的数据，对底层数据做统一标准管理，制定数据规范和管理规范，并为将来各个上层应用系统提供统一的数据出口，降低数据检索时间成本，实现专业间数据共享互通。

发明内容

本发明针对现有页岩气田地面工程建设时数据移交复杂且工程量大，提出了一种基于数据血缘的页岩气田地面工程数字化移交方法，运用数据血缘技术制定血缘关系对数据通过元数据设定血缘关系实现统一管理。

本发明具体实现内容如下：

本发明公开了一种基于数据血缘的页岩气田地面工程数字化移交方法，在数据采集之前，使用React前端技术结合Spring Cloud微服务技术对数据血缘关系进行定义，把定义的数据血缘关系按照Json协议存入数据库做持久化，在数据采集层应用定义好的关系进行数据解析并存入数据仓库；接着进行数据的采集，对被采集数据的元数据进行登记和注册，并通过采集数据的元数据作为数据血缘关系的输入数据，并对采集的数据进行缓存。

为了更好地实现本发明，进一步地，所述采集的数据包括结构化数据、模型数据、非结构化数据；

所述模型数据、非结构化数据的元数据包括被采集数据的来源信息、结构信息；在配置数据血缘关系的配置界面通过来源信息、结构信息对数据流向的血缘关系进行定义和配置，同时将接收的采集数据按照原始的结构进行缓存；

所述结构化数据定义数据血缘关系通过两种方式实现，具体方法为：

方法一：制作数据血缘关系定义Excel模板，然后在配置数据血缘关系的配置界面通过上传数据血缘关系定义Excel模板进行批量数据导入；

方法二：在配置数据血缘关系的配置界面通过源系统、源所有者、源表、源字段、目标系统、目标所有者、目标表、目标字段对数据流向的血缘关系进行定义和配置；所述源系统、源所有者、源表、源字段、目标系统、目标所有者、目标表、目标字段即为结构化数据的元数据。

为了更好地实现本发明，进一步地，对于采集数据的缓存，根据数据分类不同进行不同方式的缓存：