[发明专利]数据评价方法以及装置

权利要求书

1.一种数据评价方法，其特征在于，所述方法包括：

获取待评价的外部数据；

对所述外部数据进行数据清洗与标准化，对标准化后的所述外部数据进行数据降维得到降维后的外部数据；

将降维后的外部数据输入到朴素贝叶斯模型，根据所述朴素贝叶斯模型确定待评价的所述外部数据的质量；其中，所述朴素贝叶斯模型为采用训练样本对预设的机器学习模型进行训练得到的，所述训练样本包括：对标准化后的用于模型训练的外部数据进行数据降维后得到的降维后的外部数据。

2.根据权利要求1所述的方法，其特征在于，对所述外部数据进行数据清洗与标准化，包括：

将有效数据率低于第一阈值的数据进行丢弃得到清洗后的所述外部数据；以及

通过标准差对清洗后的所述外部数据进行数据标准化。

3.根据权利要求1所述的方法，其特征在于，对标准化后的所述外部数据进行数据降维得到降维后的外部数据，包括：

对所述外部数据采样得到信号，对所述信号进行独立分量分析；其中，通过梯度下降优化指定所述独立分量分析的迭代次数或者迭代目标。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述训练样本；

采用所述训练样本对预设的机器学习模型进行训练，得到所述朴素贝叶斯模型；其中，得到所述朴素贝叶斯模型包括：根据所述训练样本中降维后的外部数据的样本属性确定所述朴素贝叶斯模型的概率分布模型。

5.根据权利要求4所述的方法，其特征在于，根据降维后的所述外部数据的样本属性确定所述朴素贝叶斯模型的概率分布模型，包括：

在所述样本属性为离散型的情况下，计算离散空间中的概率分布；

在所述样本属性为连续型的情况下，采用极大似然估计进行概率模型参数估计。

6.根据权利要求1所述的方法，其特征在于，基于所述朴素贝叶斯模型确定待评价的所述外部数据的质量，包括：

根据待评价的所述外部数据在所述朴素贝叶斯模型中的评分值，确定所述外部数据的质量，其中，所述外部数据质量与所述评分值成正比。

7.根据权利要求6所述的方法，其特征在于，待评价的所述外部数据在所述朴素贝叶斯模型中的评分值，包括：

所述外部数据在所述朴素贝叶斯模型的离散目标空间中的n个概率值的最大值为该数据的评分值。

8.一种数据评价装置，其特征在于，所述装置包括：

获取单元，其获取待评价的外部数据；

数据处理单元，其对所述外部数据进行数据清洗与标准化，对标准化后的所述外部数据进行数据降维得到降维后的外部数据；

评价单元，其将降维后的外部数据输入到朴素贝叶斯模型，根据所述朴素贝叶斯模型确定待评价的所述外部数据的质量；其中，所述朴素贝叶斯模型为采用训练样本对预设的机器学习模型进行训练得到的，所述训练样本包括：对标准化后的用于模型训练的外部数据进行数据降维后得到的降维后的外部数据。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任意一项所述方法的计算机程序。