[发明专利]数据画像的构建方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据画像的构建方法、装置、计算机设备及存储介质，所述方法包括：根据目标数据与预设的数据源得到相关数据及其层次结构，其中，所述数据源来源于企业内部的各类系统数据；生成包含若干信息节点的拓扑关系图；将所述相关数据与所述目标数据之间的数据处理过程或所述相关数据之间的数据处理过程标注在所述拓扑关系图上，形成数据画像；将所述数据画像输出至用户界面。本发明所提出的数据画像的构建方法、装置、计算机设备及存储介质，通过数据匹配追溯目标数据的源头数据及基于其继续演变的数据，并通过直观图像的形式输出至用户界面，使用户可迅速获知与目标数据相关数据的来龙去脉，为评估目标数据的价值及其影响提供基础。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据画像的构建方法、装置、计算机设备及存储介质。

背景技术

企业运营过程中会产生大量数据，数据源经过长途跋涉，经过大量的处理和重组来传递，最终呈现在业务用户面前，企业在做数仓过程中经常会碰到的几类问题：(1)两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。(2)基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。当前对数据进行回溯需要耗费大量的人力，较为困难。

发明内容

有鉴于此，本发明提出一种数据画像的构建方法、装置、计算机设备及存储介质，能够方便用户对数据进行回溯，进而为评估目标数据的价值及其影响提供基础。

首先，为实现上述目的，本发明提出一种数据画像的构建方法，所述方法包括：

根据目标数据与预设的数据源得到相关数据及其层次结构，其中，所述数据源来源于企业内部的各类系统数据；

生成包含若干信息节点的拓扑关系图，其中，所述信息节点包含主节点与若干相关节点，所述主节点包含所述目标数据及其层次结构，每个所述相关节点包含一相关数据及其层次结构；

将所述相关数据与所述目标数据之间的数据处理过程或所述相关数据之间的数据处理过程标注在所述拓扑关系图上，形成数据画像；

将所述数据画像输出至用户界面。

进一步地，所述根据目标数据与预设的数据源得到相关数据及其层次结构包括：

对所述目标数据进行语意分析，提取其中的关键词和/或数据引用信息；

根据所述关键词和/或数据引用信息对所述数据源中的数据进行查询匹配得到相关数据及其层次结构。

进一步地，所述生成包含若干信息节点的拓扑关系图包括：

根据所述目标数据及相关数据分别生成不同的信息节点；

根据所述相关数据与目标数据的创建时间或数据引用信息生成所述信息节点之间的血缘关系；

将具有父子血缘关系的信息节点通过数据流转线路连接。

进一步地，所述将具有父子血缘关系的信息节点通过数据流转线路连接之前还包括：

根据血缘关系将所有信息节点进行图像排列，使得具有父子血缘关系的信息节点在同一流转方向上按序排列。

进一步地，所述将所述相关数据与所述目标数据之间的数据处理过程或所述相关数据之间的数据处理过程标注在所述拓扑关系图上，形成数据画像包括：

对所述数据处理过程进行分类；

根据所述数据处理过程的类型生成对应的处理规则节点，其中，所述处理规则节点包括抽取规则节点、清洗规则节点、转换规则节点以及数据销毁规则节点；

将各处理规则节点标注至对应的数据流转线路上。