[发明专利]数据算法模型检验方法、系统及计算机存储介质

说明书

本发明提供一种数据算法模型检验方法、系统及计算机存储介质。该数据算法模型检验方法，其特征在于：对模型训练数据进行了预处理、主成分分析与特征关联，获得关键特征，然后统计数据分布以及关键特征指标，确定验证策略模型并且划分训练集和验证集，根据场景、数据分布、算法等，确定具体的打分策略，本发明的导入数据即可打分，克服了目前粗暴随机分配验证集产生算力浪费的缺陷，克服了必须由研发人员透过分析算法，样本分布特征值观感受，并针对性的实现对应的检验方案的缺陷。

技术领域

本发明涉及数据分析技术领域，特别涉及数据算法模型检验方法、系统及计算机存储介质。

背景技术

在数据挖掘或机器学习领域，通常会通过一系列算法构建分析模型，来对数据的关联关系及预测后续数据等一些问题进行解决。在多数情况下需要对构建的建模进行检验，确定预处理和算法模型准确程度，受样本数据分布、算法、问题域不同，需要不同检验方案来检验；检验方法的差异会直接影响问题的解决；遇到样本量较少或较多，或输入特征较多时，对验证的准确性和计算性能都带来一定的挑战。

目前的数据检验方法对于数据模型的检验存在一些不足：1)当数据集过大时有很多的同质化样本，用于数据数据检验，粗暴随机分配验证集，产生算力浪费，检验结果可行度降低；2)必须由研发人员透过分析算法，样本分布特征值观感受，并针对性的实现对应的检验方案。3)人为有一定有主观因素和能力经验局限，可能错过最有效的解决问题的方案。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种数据算法模型检验方法、系统及计算机存储介质，以实现准确、高效、无需硬编码的检验。

本发明主要针对一些建立的线性模型、离散模型等的检验，本发明的方案暂不考虑涉及图片分析、视频分析等比较高级复杂模型检验。本发明采用如下技术方案：

本发明提供一种数据算法模型检验方法，具有这样的特征，包括：

步骤A-1，输入待验模型在建模时所使用的训练数据，对输入的训练数据进行预处理；

步骤A-2，对预处理后得到数据集进行主成分分析及特征关联，获得关键特征；

步骤A-3，对关键特征进行统计，生成重点特征池，并根据样本空间参数及样本特征分布，确定验证策略模型；

步骤A-4，根据样本空间参数、样本特征分布以及确定的验证策略模型，将预处理后的数据集划分为训练集和验证集；

步骤A-5，将步骤A-4得到的训练集输入到待验模型在建模时所使用的算法中进行模型训练，获得训练后的模型；

步骤A-6，将步骤A-5得到的训练后的模型和步骤A-4得到的验证集作为输入项，输入到验证策略模型中进行验证打分，获得打分结果，该打分结果即作为待验模型的准确度检验结果。

在本发明提供的数据算法模型检验方法中，其特征在于，还包括外部应用调用模型预测的步骤：

步骤B-1，外部调用系统发起数据预测，本检验系统检查模型预测算法被注入后进行与步骤A-1同样的预处理；

步骤B-2，将预处理后得到的数据通过重点特征池进行过滤：当数据特征不符合重点特征池的范围内时，则通知外部调用系统，数据不符合；当该数据特征符合重点特征池的范围内时，进入步骤B-3；

步骤B-3，将数据发送到模型中，进行预测，当产生预测结果时，将结果通知到外部调用系统。

在本发明提供的数据算法模型检验方法中，还可以具有这样的特征：其中，步骤A-2中主成分分析中，默认取第一主成分。

在本发明提供的数据算法模型检验方法中，还可以具有这样的特征：其中，步骤A-2中主成分分析中，计算主成分相关关键特征排名，相关系数大于0.5的特征都视为关键特征。