[发明专利]一种用于互联网检测中基于机器学习的测量检测系统及办法

权利要求书

1.一种用于互联网检测中基于机器学习的测量检测系统，其特征在于，包括模型管理服务器端和数据管理服务器，该模型管理服务器端包括数据读取及初始化模块、模型构建模块、模型训练模块、模型检验模块；

在数据采集中，固定采集时的外部光照、手机相机曝光补偿、白平衡状态、样本上光校正单元的特征值、手机姿态进行样本图片拍摄，每个样本采集多次数据，采集多个样本，对采集到的数据进行特征提取以计算出所对应的值作为基线数据；

常规应用场景中拍摄的每一条数据依据以下方法获得：对于同一个样本，在数据采集时无需固定各种控制条件因素，只需要各因素符合常规场景应用的定义，即可进行拍照，即在这种情况下，可以任意拍摄图片，每个样本分别采集多次，所获得的数据经过特征采集算法之后所获得的数据，作为常规应用场景中拍摄的数据，最终每个样本对应获得一个常规应用场景数据，采集多个样本，得到常规应用场景数据集；

非常规场景应用数据采集，采集时固定各种控制条件因素，使其不满足常规场景应用条件，控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式，每个样本分别采集多次，所获得的数据经过特征采集算法之后，作为非常规应用场景中拍摄的数据，采集多个样本，得到非常规应用场景数据集；

其中所述数据读取及初始化模块用于从数据管理服务器读取及初始化数据，同时对数据进行预处理、归一化；用于将从数据管理服务器读取的基线数据的经过特征采集算法之后的值作为训练数据的样本的真值，也就是标签值；将常规应用场景中拍摄的每一条数据经过特征采集算法之后所获得的数据作为常规应用场景数据集A1，将所述常规应用场景数据集A1划分为两部分，即随机从A1中抽取一部分数据作为训练集T1，剩下的数据作为验证集V1；用于将非常规场景应用所采集的数据经过特征采集算法之后所获得的数据，作为非常规应用场景数据集A2；将所述常规应用场景数据集A2划分为两部分，即随机从A2中抽取一部分数据作为训练集T2，剩下的数据作为验证集V2；

所述模型构建模块用于构建模型、配置模型的参数，用于对机器学习的结果进行预测；所述模型构建模块进行初始化模型后，利用所述多个样本的标签值、训练集数据生成多个基模型，同时后面的基模型是由基于前面学习的模型的效果生成，预测结果是多个基模型的线性组合；

所述模型训练模块，用于根据所构建的模型利用所述训练集T1或T2进行训练直到对应的验证集V1、V2的预测值的准确性不再提高；对任意一张用于检测的图片或者数据，首先利用数据中存在的二维码及图像校正单元判断它属于A1数据集还是A2数据集，再利用对应的模型进行结果预测；

所述模型检验模块，用于对模型的预测能力进行检验；对任意批次生产的样本，从数据管理服务器中读取该批次样本采集到的标准值；利用所述模型训练模块预测的值与该批次样本的标准值进行比较得到最终的结果；

模型构建模块通过以下算法构建预测模型，

首先构建始化模型：

其中n为训练集大小，n为大于1的自然数；y_i为第i个样本标签值，L为损失函数；γ为使L最小的值；F₀(x)为初始化模型函数；

其次迭代生成M个基于回归树模型的基模型，包括以下步骤：

(1)计算残差：

其中，r_im为第m次迭代中第i个样本的残差；yi是第i个样本的标签值；F(xi)是第i个样本在第m-1次迭代中的值，F(x)为样本的模型函数，F_m-1(x)为第m-1次迭代的模型函数；X_i是样本特征值；

(2)利用样本的特征值和该特征在当次迭代中的残差组成的集合生成该次迭代的基模型h_m(x)，即h_m(x_i)＝r_im；

(3)计算最优的系数γ_m：

最后更新模型，得到更新后的模型函数F_m(x)＝F_m-1(x)+γ_mh_m(x)。