[发明专利]数据算法模型检验方法、系统及计算机存储介质

权利要求书

1.一种数据算法模型检验方法，其特征在于，包括：

步骤A-1，输入待验模型在建模时所使用的训练数据，对输入的训练数据进行预处理；

步骤A-2，对预处理后得到数据集进行主成分分析及特征关联，获得关键特征；

步骤A-3，对关键特征进行统计，生成重点特征池，并根据样本空间参数及样本特征分布，确定验证策略模型；

步骤A-3的所述验证策略模型的生成遵循如下规则：若待验模型为非监督模型，则验证策略模型为bootstrapping验证策略模型；若待验模型为有监督模型，且数据样本总数＜63条时，则验证策略模型为bootstrapping验证策略模型；若待验模型为有监督模型，且数据样本总数≥63条时，则验证策略模型为K折验证策略模型；

步骤A-4，根据样本空间参数、样本特征分布以及确定的验证策略模型，将预处理后的数据集划分为训练集和验证集；

步骤A-5，将步骤A-4得到的训练集输入到待验模型在建模时所使用的算法中进行模型训练，获得训练后的模型；

步骤A-6，将步骤A-5得到的训练后的模型和步骤A-4得到的验证集作为输入项，输入到验证策略模型中进行验证打分，获得打分结果，该打分结果即作为待验模型的准确度检验结果；

步骤A-6中验证打分按照如下规则进行：

当验证策略模型Y为K折验证策略模型或有监督bootstrapping验证策略模型，则计算AUC值，回归处理，偏离度＝|预测值-样本值|/均值，当大于1时取1，准确度＝1-(偏离度累加/样本数)；

当验证策略模型Y为无监督bootstrapping验证策略模型，采用聚类算法或降维算法：

聚类算法中检测样本参与训练和不参与训练的分类变化，用c率来表示该分类变化情况，分类有变化则定义c率为0，否则c率为1，准确度＝c率总和/样本数；

降维算法中用因子模型构建预测模型，计算参与因子模型构建、不参与因子模型构建生成结果，偏离度＝|预测值-样本值|/均值，当大于1时取1，准确度＝1-(偏离度累加/样本数)。

2.如权利要求1所述的数据算法模型检验方法，其特征在于，还包括外部应用调用模型预测的步骤，具体为：

步骤B-1，外部调用系统发起数据预测，本检验系统检查模型预测算法被注入后进行与步骤A-1同样的预处理；

步骤B-2，将预处理后得到的数据通过重点特征池进行过滤：当数据特征不符合重点特征池的范围内时，则通知外部调用系统，数据不符合；当该数据特征符合重点特征池的范围内时，进入步骤B-3；

步骤B-3，将数据发送到模型中，进行预测，当产生预测结果时，将结果通知到外部调用系统。

3.如权利要求1所述的数据算法模型检验方法，其特征在于：

其中，步骤A-2中主成分分析中，默认取第一主成分。

4.如权利要求1所述的数据算法模型检验方法，其特征在于：

其中，步骤A-2中主成分分析中，计算主成分相关关键特征排名，相关系数大于0.5的特征都视为关键特征。

5.如权利要求1所述的数据算法模型检验方法，其特征在于：

其中，步骤A-4中将预处理后的数据集按照验证集:训练集为1:9的比例进行分配。

6.如权利要求1～5中任意一项所述的数据算法模型检验方法，其特征在于，还包括自动给出近似场景参考的步骤：

步骤C-1,在进行每个模型的准确度检验过程中，均记录下该模型的关键特征样本协方差、样本主成分、算法模型、打分结果；

步骤C-2，在进行当前待验模型的准确度验证过程中，将记录的当前待验模型的关键特征样本协方差与历史模型的关键特征样本协方差进行协方差，将记录的当前待验模型X₀的样本主成分与历史模型的样本主成分进行协方差，当二者协方差均大于0.8时，则认为当前待验模型与满足该二者协方差均大于0.8的历史模型属于近似场景并自动输出该历史模型最高历史打分结果和对应算法模型。