[发明专利]数据评价方法以及装置

说明书

本申请实施例提供一种数据评价方法以及装置。所述方法包括：获取待评价的外部数据；对所述外部数据进行数据清洗与标准化，对标准化后的所述外部数据进行数据降维得到降维后的外部数据；将降维后的外部数据输入到朴素贝叶斯模型，根据所述朴素贝叶斯模型确定待评价的所述外部数据的质量；其中，所述朴素贝叶斯模型为采用训练样本对预设的机器学习模型进行训练得到的，所述训练样本包括：对标准化后的用于模型训练的外部数据进行数据降维后得到的降维后的外部数据。由此，能够准确的分析外部数据的质量，以及为决策提供可靠地参考。

技术领域

本申请涉及人工智能技术领域，特别涉及一种数据评价方法以及装置。

背景技术

目前，银行的数据一般是用户交易相关的数据，称为内部数据，与之对应的是外部数据，即银行业交易过程中无法获取的客户数据，如客户学籍学历，客户常驻位置，客户实名手机号等。银行业一般使用外部数据的方式是业务直接获取外部数据源数据进行参考决策，外部数据使用具有一些主观性；外部数据作为对客户特征数据的补充，必然是与某业务具有强相关性，才会引入外部数据参考，但是目前并没有基于外部数据来判定与业务的关联程度的过程，例如用户手机没有实名制与客户风险具有相关性；此外，对于外部数据质量目前没有明确的评价标准和评价方法。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

目前，外部数据对银行业务发挥的作用愈来愈大，但是银行在引入外部数据时，难以对外部数据的质量进行定义和评价，如果外部数据质量较差，则会引导进行错误决策，增加业务风险。

为了解决上述问题中的至少一个，本申请实施例提供一种数据评价方法以及装置。由此，能够准确的分析外部数据的质量，以及为决策提供可靠地参考。

根据本申请实施例的一方面，一种数据评价方法，所述方法包括：

获取待评价的外部数据；

对所述外部数据进行数据清洗与标准化，对标准化后的所述外部数据进行数据降维得到降维后的外部数据；

将降维后的外部数据输入到朴素贝叶斯模型，根据所述朴素贝叶斯模型确定待评价的所述外部数据的质量；其中，所述朴素贝叶斯模型为采用训练样本对预设的机器学习模型进行训练得到的，所述训练样本包括：对标准化后的用于模型训练的外部数据进行数据降维后得到的降维后的外部数据。

在一些实施方式中，其中，对所述外部数据进行数据清洗与标准化，包括：将有效数据率低于第一阈值的数据进行丢弃得到清洗后的所述外部数据；以及通过标准差对清洗后的所述外部数据进行数据标准化。

在一些实施方式中，其中，对标准化后的所述外部数据进行数据降维得到降维后的外部数据，包括：对所述外部数据采样得到信号，对所述信号进行独立分量分析；其中，通过梯度下降优化指定所述独立分量分析的迭代次数或者迭代目标。

在一些实施方式中，所述方法还包括：获取所述训练样本；采用所述训练样本对预设的机器学习模型进行训练，得到所述朴素贝叶斯模型；其中，得到所述朴素贝叶斯模型包括：根据所述训练样本中降维后的外部数据的样本属性确定所述朴素贝叶斯模型的概率分布模型。

在一些实施方式中，其中，根据降维后的所述外部数据的样本属性确定所述朴素贝叶斯模型的概率分布模型，包括：在所述样本属性为离散型的情况下，计算离散空间中的概率分布；在所述样本属性为连续型的情况下，采用极大似然估计进行概率模型参数估计。

在一些实施方式中，其中，基于所述朴素贝叶斯模型确定待评价的所述外部数据的质量，包括：根据待评价的所述外部数据在所述朴素贝叶斯模型中的评分值，确定所述外部数据的质量，其中，所述外部数据质量与所述评分值成正比。