[发明专利]机器学习模型生成方法和装置

权利要求书

1.一种机器学习模型生成方法，其特征在于，所述方法包括：

生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；

执行划分操作：将预设机器学习用数据划分为训练数据和验证数据，将预设机器学习用数据划分为训练数据和验证数据包括：从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，所述预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合；

执行训练与验证操作：并行地分别基于所述训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，所述验证分数指示机器学习模型基于所述验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；

执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于所述最优模型参数组合的机器学习模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。

3.根据权利要求1所述的方法，其特征在于，划分操作和训练与验证操作均被执行多次，所述训练数据为每一次划分操作而划分出的训练数据，所述验证数据为每一次划分操作而划分出的验证数据；以及

并行地分别基于所述训练数据对每一个机器学习模型进行训练包括：

基于每一次划分操作而划分出的训练数据，对机器学习模型进行训练；

分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数包括：

基于每一次划分操作而划分出的验证数据，对每一次训练后的所述机器学习模型学习的准确率进行验证，得到多个验证分数。

4.根据权利要求3所述的方法，其特征在于，基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合包括：

分别计算每一个机器学习模型对应的多个验证分数的平均参数值；

将所述平均参数值作为参考模型参数值；

基于所述参考模型参数值，确定待生成的机器学习模型对应的最优模型参数组合。

5.一种机器学习模型生成装置，其特征在于，所述装置包括：

生成单元，配置用于生成模型参数组合，以及生成对应于每一个模型参数组合的机器学习模型，其中，模型参数指示机器学习模型的输入向量与输出向量之间的关联关系；

划分单元，配置用于执行划分操作：将预设机器学习用数据划分为训练数据和验证数据，所述划分单元包括：选取子单元，配置用于从多个预设子集中选取一个子集的预设机器学习用数据作为验证数据，以及将其他子集中的预设机器学习用数据作为训练数据，其中，所述预设子集为将预设机器学习用数据划分而得到的多个包含的预设机器学习用数据的个数相等的集合；

处理单元，配置用于执行训练与验证操作：并行地分别基于所述训练数据对每一个机器学习模型进行训练；分别基于验证数据对每一个训练后的机器学习模型学习的准确率进行验证，得到验证分数，所述验证分数指示机器学习模型基于所述验证数据而输出的输出向量对应的数据类型与验证数据的数据类型一致的比率；

执行单元，配置用于执行模型生成操作：基于验证分数，确定待生成的机器学习模型对应的最优模型参数组合，以及生成对应于所述最优模型参数组合的机器学习模型。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

分布式处理单元，配置用于利用分布式计算框架Hadoop的Map-Reduce模型中的Map任务执行训练与验证操作，利用分布式计算框架Hadoop的Map-Reduce模型中的Reduce任务执行模型生成操作。