[发明专利]元数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明涉及大数据技术领域，公开了一种元数据处理方法，包括以下步骤：提取目标数据的生成脚本并解析，获得所述脚本的语义信息；对所述语义信息进行分析，获得所述目标数据的语义元数据；根据预置配置规则及所述语义信息，建立各语义元数据的关联关系；解析所述语义元数据的数据结构，获得所述语义元数据的作用域；基于所述作用域，获取与所述语义元数据存在关联关系的更多语义元数据；基于多个所述语义元数据之间的关联关系，构建元数据关系网；基于所述元数据关系网创建数据关系查询页面，以供进行数据查询。本发明还公开了一种元数据处理装置、设备及计算机可读存储介质。本发明通过语义识别元数据，提高了元数据的规范性和正确性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种元数据处理方法、装置及计算机可读存储介质。

背景技术

目前，元数据管理系统的数据关系为大数据使用者提供可靠的数据识别和追溯，是数据仓库管理的关键的一环。然而，由于数据来源复杂，不同的业务系统有不同的数据来源，而且不同的业务系统之间的定义也不一致，让构建一个完善的元数据管理系统成为一项长期的困难工作。

现在构建元数据管理系统一般是通过机器抽取数据源的元数据，然后由人工识别数据的业务特征和构建数据之间的关系，但因维护人员人工理解的不同，导致数据的业务特征和关系与实际业务存在一定的差异，造成元数据的管理存在滞后性，运维人员在后期维护时也会出现错误。

发明内容

本发明的主要目的在于提供一种元数据处理方法、装置及计算机可读存储介质，旨在解决现有技术中由人工识别的元数据管理系统存在因理解差异导致数据的业务特征和关系与实际业务存在不一致，维护不方便，且不能实时更新的技术问题。

为实现上述目的，本发明提供一种元数据处理方法，所述元数据处理方法包括以下步骤：

提取目标数据的生成脚本并解析，获得所述脚本的语义信息；

对所述语义信息进行分析，获得所述目标数据的语义元数据；

根据预置配置规则建立与所述语义元数据相关联的关联关系，其中，所述预置配置规则由用户自定义设置生成所述关联关系的生成方式；

解析所述语义元数据的数据结构，获得所述语义元数据的作用域，其中，所述作用域标识有语义元数据的业务领域，加载时可得到不同的关联关系；

基于所述作用域，获取与所述语义元数据存在关联关系的更多语义元数据；

基于多个所述语义元数据之间的关联关系，构建元数据关系网；

基于所述元数据关系网创建数据关系查询页面，以供进行数据查询。

可选地，在所述提取数据的生成脚本并解析，获得所述脚本的语义信息的步骤之前，还包括：

建立数据源与所述语义元数据之间的映射关系，其中，不同类型的所述数据源与不同的所述语义元数据一一对应。

可选地，所述对所述语义信息进行分析，获得所述数据的语义元数据包括：

解析所述语义信息，得到所述语义信息中描述所述目标数据的信息；

从所述信息中提取所述目标数据的生成逻辑信息；

从所述生成逻辑信息中提取所述目标数据的语义元数据，并作为查询语义元数据。

可选地，在所述从所述信息中提取所述目标数据的生成逻辑信息的步骤之后，包括：

从所述生成逻辑信息中提取所述目标数据的版本信息，并进行记录，所述版本信息包括目标数据版本的生成时间和版本号；

创建版本信息查询页面，以供进行数据的版本信息查询。