[发明专利]基于数据指标的数据质量评估方法、装置、设备及介质

权利要求书

1.一种基于数据指标的数据质量评估方法，其特征在于，所述方法包括：

获取待评估数据，按照预设的分段符对所述待评估数据进行分段处理，得到分段数据段，提取每个所述分段数据段的关键语义；

根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段；

提取每一个所述合并数据段的关键词，利用所述关键词确定每一个所述合并数据段的数据领域；

利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，计算每一个所述合并数据段对应的数据指标的指标数值；

统计所述合并数据段中每个数据段在所述待评估数据中的占比，利用预设的权重算法，根据所述占比及所述指标数值，计算所述待评估数据的数据质量评分。

2.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述提取每个所述分段数据段的关键语义，包括：

逐个从所述分段数据段中选取其中一个分段数据段作为目标分段数据段，对所述目标分段数据段进行分词处理，得到数据分词；

对所述数据分词进行向量转换，得到分词向量；

构建所述分词向量的向量子集集合，利用预先构建的语义分析模型对所述向量子集集合进行特征提取，得到特征子集；

利用预设的激活函数计算所述特征子集中的每个特征向量的输出值，选取所述输出值大于预设输出阈值的特征向量为所述目标分段数据段的关键语义。

3.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述根据所述关键语义对所述分段数据段进行数据相关段落合并，得到合并数据段，包括：

分别计算所述关键语义中每个语义之间的相似度；

将所述相似度大于预设相似度阈值的关键语义对应的分段数据段进行合并，得到合并数据段。

4.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述提取每一个所述合并数据段的关键词，包括：

从所述合并数据段中选取其中一个合并数据段作为目标合并数据段，并从所述目标合并数据段的数据分词中选取其中一个目标分词；

统计所述目标分词在所述目标合并数据段中出现的第一频率，以及统计所述目标分词在所有所述合并数据段中出现的第二频率；

利用所述第一频率与所述第二频率计算所述目标分词的关键值，并返回从所述目标合并数据段的数据分词中选取其中一个目标分词的步骤，直至计算得出所述目标合并数据段中所有目标分词的关键值；

选取所述关键值大于预设关键值的目标分词为所述目标合并数据段的关键词，并返回从所述合并数据段中选取其中一个合并数据段作为目标合并数据段的步骤，直至获取所述合并数据段中所有数据段的关键词。

5.如权利要求1所述的基于数据指标的数据质量评估方法，其特征在于，所述利用所述关键词确定每一个所述合并数据段的数据领域，包括：

将所述合并数据段中的关键词进行向量转换，得到关键词向量；

计算所述关键词向量与预设的标准数据领域之间的匹配值；

选取所述匹配值大于预设的匹配阈值的标准数据领域为所述关键词对应的合并数据段的数据领域。

6.如权利要求1至5中任一项所述的基于数据指标的数据质量评估方法，其特征在于，所述利用所述数据领域在预设指标列表中检索得到每一个所述合并数据段对应的数据指标，包括：

构建预设指标列表的索引；

根据所述数据领域和所述索引在所述预设指标列表中进行检索，得到与所述数据领域对应的数据指标。

7.如权利要求1至5中任一项所述的基于数据指标的数据质量评估方法，其特征在于，所述计算每一个所述合并数据段对应的数据指标的指标数值之后，所述方法还包括：

从所述合并数据段的数据指标中，选取指标数值不在预设的阈值区间内的数据指标；

将被选取的所述数据指标对应的合并数据段汇集为数据段集；

利用所述数据段集向预设用户进行数据质量定位预警。