[发明专利]基于数据指标的数据质量评估方法、装置、设备及介质

说明书

本发明涉及数据分析技术，揭露了一种基于数据指标的数据质量评估方法，包括：利用分段符将获取的待评估数据分段为分段数据段，提取每个分段数据段的关键语义；根据关键语义对分段数据段进行数据相关段落合并，得到合并数据段；提取每一个合并数据段的关键词，利用关键词确定每一个合并数据段的数据领域；利用数据领域获取数据指标，计算每一个数据指标的指标数值；利用预设的权重算法根据每个合并数据段的占比和指标数值计算待评估数据的数据质量评分。此外，本发明还涉及区块链技术，产品画像及用户画像可存储于区块链的节点。本发明还提出一种基于数据指标的数据质量评估装置、设备及介质。本发明可以提高数据质量评估的精确度。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种基于数据指标的数据质量评估方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据呈爆发式地增长，多数传统企业也开始走上了数字化转型的道路。在企业数字化转型过程产生的数据中蕴藏的商业价值也逐渐被人们挖掘出来，数据已被作为产生业务价值和实现业务目标的基石，因此，数据的质量，成为了人们关注的重点。

现有的对于数据质量进行评估的方法多为基于固定的规则对数据的质量进行评估，但由于数据中，往往存在着多个不同来源或不同领域的数据，而不同的数据的质量评价标准往往不一致，因此，该方法利用固定的规则对数据的质量进行评估，会导致数据质量评估的精确度较低。

发明内容

本发明提供一种基于数据指标的数据质量评估方法、装置及计算机可读存储介质，其主要目的在于解决进行数据质量评估的精确度较低的问题。

为实现上述目的，本发明提供的一种基于数据指标的数据质量评估方法，包括：

获取待评估数据，按照预设的分段符对所述待评估数据进行分段处理，得到分段数据段，提取每个所述分段数据段的关键语义；

根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段；

提取每一个所述合并数据段的关键词，利用所述关键词确定每一个所述合并数据段的数据领域；

利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，计算每一个所述合并数据段对应的数据指标的指标数值；

统计所述合并数据段中每个数据段在所述待评估数据中的占比，利用预设的权重算法，根据所述占比及所述指标数值，计算所述待评估数据的数据质量评分。

可选地，所述提取每个所述分段数据段的关键语义，包括：

逐个从所述分段数据段中选取其中一个分段数据段作为目标分段数据段，对所述目标分段数据段进行分词处理，得到数据分词；

对所述数据分词进行向量转换，得到分词向量；

构建所述分词向量的向量子集集合，利用预先构建的语义分析模型对所述向量子集集合进行特征提取，得到特征子集；

利用预设的激活函数计算所述特征子集中的每个特征向量的输出值，选取所述输出值大于预设输出阈值的特征向量为所述目标分段数据段的关键语义。

可选地，所述根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段，包括：

分别计算所述关键语义中每个语义之间的相似度；

将所述相似度大于预设相似度阈值的关键语义对应的分段数据段进行合并，得到合并数据段。

可选地，所述提取每一个所述合并数据段的关键词，包括：

从所述合并数据段中选取其中一个合并数据段作为目标合并数据段，并从所述目标合并数据段的数据分词中选取其中一个目标分词；