[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

用机器学习法来训练数据清洗规则以进行数据清洗，并且利用训练出的数据清洗判决模型对预测模型训练数据进行数据清洗判断；

从预测模型算法库中选择参与预测模型训练运算的预测模型；

在预测模型训练运算过程中对参与预测模型训练运算的具体预测模型进行参数调优。

2.根据权利要求1所述的方法，其特征在于，为了训练数据清洗判决模型，提供清洗库，所述清洗库中存放异常数据的特征，其中，异常数据的来源包括以下各项中的至少一项：历史异常数据、业务方反馈的新发现的异常数据、由所有数据清洗判决模型一致判断为异常数据的数据、或经一个或多个数据清洗判决模型判断为异常数据并经人工识别后确认为异常数据的可疑数据。

3.根据权利要求2所述的方法，其特征在于，所述利用训练出的数据清洗判决模型对预测模型训练数据进行数据清洗判断包括：利用训练出的数据清洗判决模型对预测模型训练数据抽取出的特征进行数据清洗判断，其中，将所有数据清洗判决模型判决得到的异常数据放进可疑数据库，其中：

如果所有数据清洗判决模型判决结果均为异常数据，则直接将此数据加进清洗库，作为下次数据清洗判决模型训练的经验数据；

如果多个数据清洗判决模型判决结果不一致，则在进行人工识别后选择将相应数据加进清洗库或不做处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，能采用的数据清洗判决模型包括以下各项中的至少一项：SVM、随机森林、逻辑回归、贝叶斯分类器。

5.根据权利要求1至3中任一项所述的方法，其特征在于，在进行预测模型选择时，从预测模型算法库所拥有的N个预测模型算法中选出预测误差率最低的N1个预测算法参与预测模型训练运算，然后将剩下的N2个预测算法按概率参与预测模型训练运算。

6.根据权利要求5所述的方法，其特征在于，所述概率Pi由如下公式获得：

Pi＝(1/Δi)/(sumN2(1/Δi))，

其中，i代表候选算法的编号，i＝1，2，……，N2；Δi为第i个候选算法的算法误差率；sumN2()为求和函数，其将N2个候选算法的选择系数1/Δi求和。

7.根据权利要求5所述的方法，其特征在于，借助所选出的预测算法进行预测，得到数量与所选出的预测算法的个数对应的预测值，选择这些所选出的预测算法中在预定时段内平均预测误差最低的算法的预测结果作为预测输出，待真实销量产生后，根据所选用于进行预测输出的算法的预测值与真实销量的比较来更新模型效果。

8.根据权利要求1至3中任一项所述的方法，其特征在于，针对参与预测模型训练运算的每个具体预测模型，从预测模型训练参数库中取出针对该预测模型已知的最优参数，然后对所取出的已知最优参数进行随机试探。

9.根据权利要求8所述的方法，其特征在于，所取出的已知最优参数只涉及最有可能成为最优参数的参数。

10.根据权利要求8所述的方法，其特征在于，在随机试探时，对于每个所取出的已知最优参数，根据调节步长和调节步数生成新的试探参数。

11.根据权利要求10所述的方法，其特征在于，将试探参数赋予对应的获选预测模型并结合经清洗后的预测模型训练数据进行预测模型训练，得到不同的误差，将最小误差对应的参数值更新到预测模型训练参数库。