[发明专利]数据处理方法、装置和电子设备

说明书

本发明提供了一种数据处理方法、装置和电子设备。其中，该方法应用于元数据搜索引擎，该方法包括：响应血缘关系查询操作，确定血缘关系查询操作对应的目标数据表；基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。该方式中，可以基于建表语句或血缘表查询目标数据表的血缘关系，相比于常见的自动解析方法和系统追踪方法，该方式无需解析SQL语句，解析血缘关系的方式较为简单，可以降低获取数据血缘关系的成本，可以获取所有数据的血缘关系，提高数据的覆盖率，还没有信息泄露的风险。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种数据处理方法、装置和电子设备。

背景技术

数据从产生、加工融合、流转流通到最终消亡，在数据之间自然会形成一种关系。可以借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。数据的血缘关系是元数据的组成部分之一。通过数据的血缘关系可以分析表和字段从数据源到当前表的血缘路径，以及血缘字段之间存在的关系是否满足，可以评判数据的一致性以及表设计的合理性，可以用于分析上游数据发生变化给下游数据带来的影响，在下游数据发生变化时可以追踪上游问题的源头，帮助我们更好地去理解数据。

一般来说，可以通过自动解析或系统追踪的方式去获取数据的血缘关系。其中，自动解析方法是当前获取数据的血缘关系的主要方法，其具体做法就是解析数据的SQL(Structured Query Language，结构化查询语言)语句、存储过程、ETL(Extract-Transform-Load，抽取、转换、加载)过程等文件，以确定数据的血缘关系。系统跟踪方法是通过数据加工流动过程中，由数据处理程序负责发送数据血缘信息，例如：在数据的注解部分增加对血缘的描述等。

然而，对于自动解析方法，由于数据的复杂代码和应用环境等原因，根据国际厂商的经验，自动解析方法可以仅覆盖到企业数据的70-95％，目前无法做到100％，数据的覆盖不够全面。对于系统跟踪方法，由于调度引擎的种类比较多，导致分析成本交过。获取SQL执行日志比较困难，就算获取到SQL执行日志，也需要长时间追踪和分析，还可能带来数据安全的问题，并且也只能覆盖一部分数据。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法、装置和电子设备，以降低获取数据血缘关系的成本，提高数据的覆盖率。

第一方面，本发明实施例提供了一种数据处理方法，应用于元数据搜索引擎，方法包括：响应血缘关系查询操作，确定血缘关系查询操作对应的目标数据表；基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系。

在本发明较佳的实施例中，上述方法还包括：在创建目标数据表的过程中确定目标数据表的血缘关系；将目标数据表的血缘关系写入目标数据表的建表语句中；或者，将目标数据表的血缘关系写入目标数据表对应的血缘表中。

在本发明较佳的实施例中，上述将目标数据表的血缘关系写入目标数据表的建表语句中的步骤，包括：将目标数据表的血缘关系写入目标数据表中的指定字段内。

在本发明较佳的实施例中，上述基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系的步骤，包括：解析目标数据表中的指定字段，确定目标数据表的血缘关系。

在本发明较佳的实施例中，上述目标数据表设置于数据库中，数据库包括多个数据表和一个血缘表；上述将目标数据表的血缘关系写入目标数据表对应的血缘表中的步骤，包括：将目标数据表的血缘关系写入数据库的血缘表中，以使血缘表记录数据库中的各个数据表的血缘关系。

在本发明较佳的实施例中，上述基于目标数据表的建表语句或者目标数据表对应的血缘表，确定目标数据表的血缘关系的步骤，包括：从数据库的血缘表中查找目标数据表的血缘关系。