[发明专利]车联网元数据管理方法、装置、设备及可读存储介质

说明书

本申请涉及一种车联网元数据管理方法、装置、设备及可读存储介质，涉及元数据管理技术领域，包括提取车联网中元数据的公共属性字段并导入元数据管理系统，提取数据源字段并导入元数据管理系统；基于数据源字段创建SQL建表语句；基于SQL建表语句创建数据表，对SQL建表语句进行解析得到数据表上待管理的元数据的字段信息，其包括第一名称字段和第一描述字段；将第一名称字段和第一描述字段与元数据管理系统中的名称字段和描述字段进行匹配；当匹配到与第一名称字段相似的第二名称字段且与第一描述字段相似的第二描述字段，基于第二名称字段、第二描述字段对第一名称字段、第一描述字段进行更新，实现对元数据的管理，提高元数据的质量。

技术领域

本申请涉及元数据管理技术领域，特别涉及一种车联网元数据管理方法、装置、设备及可读存储介质。

背景技术

元数据是企业中用来描述数据的数据，而元数据管理是进行数据资产梳理和盘点的有效手段。元数据不仅可以表示数据的类型、名称、值等信息，其可以进一步提供数据的上下文描述信息，比如数据的所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。在数据分析中，元数据可以帮助数仓开发人员以及上层数据分析人员非常方便地找到他们所关心的数据。由此可见，元数据能够提供一份数据结构定义和元素的详细示意图以及数据来龙去脉、关系，使应用开发过程更有效，提供数据的参照性、引用性、血缘分析、影响分析和变化分析等。因此，对元数据进行管理是非常必要的。

不过，在公司没有强约束的情况下，公司内部不同部门、不同开发人员对具有相同含义的属性存在定义不同、命名不同的现象，尤其是在车联网下，数据量更为庞大，更易存在上述现象，以致容易造成歧义，导致元数据的质量较差，进而对元数据的开发和探索是极其不友好的，即不利于元数据的开发和探索。

发明内容

本申请提供一种车联网元数据管理方法、装置、设备及可读存储介质，以解决相关技术中由于对元数据中具有相同含义的属性进行不同的定义和命名而导致的元数据质量差的问题。

第一方面，提供了一种车联网元数据管理方法，包括以下步骤：

提取车联网中元数据的公共属性字段，将公共属性字段导入元数据管理系统，所述公共属性字段包括名称字段和描述字段；

提取数据源字段，将数据源字段导入所述元数据管理系统，所述数据源字段包括数据库类型字段、数据库名称字段、数据库实例字段、数据库地址字段、数据库端口字段和数据库描述字段中的一个或多个；

基于所述数据源字段创建SQL建表语句；

基于所述SQL建表语句创建数据表，并对所述SQL建表语句进行解析得到数据表上待管理的元数据的字段信息，所述字段信息包括第一名称字段和第一描述字段；

将所述第一名称字段和所述第一描述字段与元数据管理系统中的名称字段和描述字段进行匹配；

当在元数据管理系统中匹配到与第一名称字段相似的第二名称字段且与第一描述字段相似的第二描述字段，则基于第二名称字段对所述第一名称字段进行更新，并基于第二描述字段对第一描述字段进行更新，以实现对元数据的管理。

一些实施例中，在所述将所述第一名称字段和所述第一描述字段与元数据管理系统中的名称字段和描述字段进行匹配的步骤之后，还包括：

当在元数据管理系统中未匹配到与第一名称字段相似的第二名称字段或在元数据管理系统中未匹配到与第一描述字段相似的第二描述字段，则将第一名称字段和第一描述字段导入元数据管理系统。

一些实施例中，在所述基于第二描述字段对第一描述字段进行更新的步骤之后，还包括：

对dataX数据处理脚本进行规范性检测；

当dataX数据处理脚本的规范性符合要求，执行所述dataX数据处理脚本并获取dataX数据处理脚本的配置信息；