[发明专利]基于MapReduce框架的支持向量机最优分类模型参数搜索的方法

权利要求书

1.一种基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，其特征在于，包括以下步骤：

A、在Map阶段为每组参数赋予不同的键值，使得在Reduce阶段每个并行执行的任务只对一组参数进行交叉验证；

B、以串行MapReduce作业执行方式或者单个MapReduce作业执行方式选择支持向量机最优分类模型的最优参数。

2.如权利要求1所述的基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，其特征在于，步骤A中每个并行执行的Reduce任务只对一组参数进行交叉验证具体为：

A1、生成需要进行搜索的n个参数组(c_i,γ_i),0i≤n，c_i为惩罚参数，控制支持向量机模型如何处理错误；γ_i为高斯核函数参数，高斯核函数负责将线性不可分的问题转换为线性可分的问题；

A2、将每组参数以一个文件的形式存入到Hadoop集群中的hdfs文件系统；

A3、在Map阶段，每个Map任务读取存储在hdfs文件系统中的参数文件，并为每个参数文件形成一个具有唯一键值的中间结果；

A4、在Reduce阶段，执行参数交叉验证的Reduce任务的个数与中间结果的个数一致，每个Reduce任务只对一组参数进行交叉验证。

3.如权利要求1所述的基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，其特征在于，串行MapReduce作业执行方式具体为：限制并发执行的Reduce的任务个数，一种限制Reduce任务个数的方式为将需要选择的m个参数划分为n个MapReduce作业(Job₁,Job₂,…,Job_n-1,Job_n),n≥1，其中(Job₁,Job₂,…,Job_n-1)执行m/n个参数的验证，Job_n执行m％n个参数的验证，(Job₁,Job₂,…,Job_n-1)在JobTrack的控制下串行执行；

单个MapReduce作业执行方式具体为：只启动MapReduce作业一次，让m个Reduce任务全部处于就绪状态，限制获得资源并行执行的Reduce的任务个数为k,k≤m；当某个Reduce任务执行完成后，处于就绪等待队列中的某个Reduce任务获得资源开始执行，直到就绪队列中的所有Reduce任务执行完成。

4.如权利要求1所述的基于MapReduce框架的支持向量机最优分类模型参数搜索的方法，其特征在于，串行MapReduce作业执行方式适用于并行执行的各个Reduce任务的完成时间差异不大的细粒度最优参数搜索；单个MapReduce作业执行方式适用于并行执行的各个Reduce任务的完成时间差异大的粗粒度最优参数搜索。