[发明专利]一种基于数据血缘的页岩气田地面工程数字化移交方法

权利要求书

1.一种基于数据血缘的页岩气田地面工程数字化移交方法，其特征在于，在数据采集之前，使用React前端技术结合Spring Cloud微服务技术对数据血缘关系进行定义，把定义的数据血缘关系按照Json协议存入数据库做持久化，在数据采集层应用定义好的关系进行数据解析并存入数据仓库；接着进行数据的采集，对被采集数据的元数据进行登记和注册，并通过采集数据的元数据作为数据血缘关系的输入数据，并对采集的数据进行缓存；

所述采集的数据包括结构化数据、模型数据、非结构化数据；

所述模型数据、非结构化数据的元数据包括被采集数据的来源信息、结构信息；在配置数据血缘关系的配置界面通过来源信息、结构信息对数据流向的血缘关系进行定义和配置，同时将接收的采集数据按照原始的结构进行缓存；

所述结构化数据定义数据血缘关系通过两种方式实现，具体方法为：

方法一：制作数据血缘关系定义Excel模板，然后在配置数据血缘关系的配置界面通过上传数据血缘关系定义Excel模板进行批量数据导入；

方法二：在配置数据血缘关系的配置界面通过源系统、源所有者、源表、源字段、目标系统、目标所有者、目标表、目标字段对数据流向的血缘关系进行定义和配置；所述源系统、源所有者、源表、源字段、目标系统、目标所有者、目标表、目标字段即为结构化数据的元数据；

将采集的数据根据国际标准进行转换处理，将无序的分散数据形成标准、通用的工程类的数据，将转换后的数据存储到标准存储区，形成稳态的数据结构；将结构化的数据存储到MySQL数据库中，将结构化数据的关联关系存储到Neo4j图数据库中；将模型数据和非结构化文件存储到FastDFS分布式文件系统中；

所述标准、通用的工程类数据通过事先建立的数据模型、业务实体清单、业务实体数据结构表、业务实体文档清单进行规范；所述数据模型、业务实体清单、业务实体数据结构表、业务实体文档清单需要满足以下要求：

(1)以树状目录的层级方式对业务结构进行梳理，对业务实体进行归类；

(2)对资产业务的逻辑类别和分类进行定义和配置；

(3)对物理存储层面进行数据结构表的定义和设计；

通过Echarts技术生成结构化数据血缘图进行可视化展示；所述结构化数据血缘图使用元数据作为字段级别数据血缘关系的区分依据，使用数据表作为表级别的数据血缘关系的区分依据；

使用结构化数据血缘图对采集、存储、服务交付应用、个性化定制应用和成果回存的数据进行数据血缘关系展示；所述结构化数据血缘图包含的血缘关系依次按照源系统、源所有者、源字段、源表、目标表、目标字段、目标所有者、目标系统的顺序进行查看。

2.如权利要求1所述的一种基于数据血缘的页岩气田地面工程数字化移交方法，其特征在于，对于采集数据的缓存，根据数据分类不同进行不同方式的缓存：

所述结构化数据包括面向关系型数据库中的结构化数据，通过表和字段来标识的内容数据，依赖开源的Kafka消息队列进行采集，将数据封装为Json报文并推送至Kafka平台，然后通过数据处理程序解析报文并进行存储；所述存储的具体操作为：将结构化的数据存储到MySQL数据库中，而将结构化数据的关联关系存储到Neo4j图数据库中；

所述模型数据包括3D模型文件数据，AVEVA三维模型、SP3D三维模型、Revit软件建筑三维模型、线路GIS三维模型、AutoCAD Civil 3D总图三维模型；通过Kafka系统导入模型数据，由任务调度根据元数据中的模型对应的统一资源定位符URL把实际的模型数据拉取出来进行存储；将所述模型数据存储到FastDFS分布式文件系统中；

所述非结构化数据包括工程图纸、SP PID智能PID数据图纸及数据、Office文件和PDF文件；对于非结构化数据，把非结构化数据的元数据通过Kafka消息队列推送到平台，任务调度会根据元信息中的文件URL把实际的文件数据提取出来进行存储；所述非结构化文件存储到FastDFS分布式文件系统中。

3.如权利要求2所述的一种基于数据血缘的页岩气田地面工程数字化移交方法，其特征在于，对于所述非结构化数据，在报文的解析提取过程中，同时还会提取非结构化数据所关联的工程对象标识信息，所述工程对象标识信息为结构化数据信息，在结构化数据库中将工程对象标识信息和对应的非结构化数据之间建立关联，从而实现结构化和非结构化之间的数据衔接。