[发明专利]一种基于并行化Softmax分类的图像处理方法和系统

权利要求书

1.一种基于并行化Softmax分类的图像处理方法，其特征在于，所述方法包括：

步骤1，对训练图像进行预处理，获得训练数据集；

步骤2，利用基于MapReduce的并行化Softmax分类方法运行所述训练数据集，获得多分类器；

步骤3，将待分类图像进行预处理后，输入所述多分类器，获得图像分类结果；

所述步骤2包括：

将所述训练数据集划分为预设数量的机器数据集，其中，每个所述机器数据集对应单个机器；

对于每个所述机器，对所述机器对应的机器数据集进行Softmax回归训练，运用随机梯度下降法对所述机器对应的Softmax分类器参数进行设置次数的迭代更新，将迭代更新后的所述Softmax分类器参数确定为所述机器对应的中间参数，其中，所述设置次数等于所述机器对应的机器数据集的数据总数；

将各个所述机器对应的中间参数作为MapReduce的归约任务的输入，对所述中间参数进行矩阵求和与平均运算，获得训练完成参数；

将所述训练完成参数带入Softmax函数中，获得所述多分类器。

2.根据权利要求1所述的基于并行化Softmax分类的图像处理方法，其特征在于，所述步骤1的具体实现为：对所述训练图像进行灰度化处理，获得灰度矩阵数据，将所述灰度矩阵数据作为所述训练数据集。

3.根据权利要求2所述的基于并行化Softmax分类的图像处理方法，其特征在于，所述步骤2还包括：

对所述训练数据集进行预操作，将预操作后的训练数据集作为MapReduce的映射任务的输入，在所述映射任务中，对所述预操作后的训练数据集进行Softmax回归训练，运用随机梯度下降法对Softmax分类器参数进行迭代更新，获得中间参数。

4.根据权利要求3所述的基于并行化Softmax分类的图像处理方法，其特征在于，所述预操作的具体实现为：将所述训练数据集传输至分布式文件系统，根据所述分布式文件系统对所述训练数据集进行切片。

5.根据权利要求3或4所述的基于并行化Softmax分类的图像处理方法，其特征在于，所述对所述预操作后的训练数据集进行Softmax回归训练，运用随机梯度下降法对Softmax分类器参数进行迭代更新的具体实现为：

在原始Softmax分类器代价函数的基础上增加一个用于惩罚过大参数值的权重衰减项，获得更新代价函数；

采用迭代算法循环计算最小的所述更新代价函数；

采用随机梯度下降法迭代更新Softmax分类器参数。

6.一种基于并行化Softmax分类的图像处理系统，其特征在于，所述系统包括：

第一处理模块，用于对训练图像进行预处理，获得训练数据集；

第二处理模块，用于利用基于MapReduce的并行化Softmax分类方法运行训练数据集，获得多分类器；

第三处理模块，用于将待分类图像进行预处理后，输入所述多分类器，获得图像分类结果

所述第二处理模块具体用于：

将所述训练数据集划分为预设数量的机器数据集，其中，每个所述机器数据集对应单个机器；

对于每个所述机器，对所述机器对应的机器数据集进行Softmax回归训练，运用随机梯度下降法对所述机器对应的Softmax分类器参数进行设置次数的迭代更新，将迭代更新后的所述Softmax分类器参数确定为所述机器对应的中间参数，其中，所述设置次数等于所述机器对应的机器数据集的数据总数；

将各个所述机器对应的中间参数作为MapReduce的归约任务的输入，对所述中间参数进行矩阵求和与平均运算，获得训练完成参数；

将所述训练完成参数带入Softmax函数中，获得所述多分类器。

7.根据权利要求6所述的基于并行化Softmax分类的图像处理系统，其特征在于，所述第一处理模块具体用于：对所述训练图像进行灰度化处理，获得灰度矩阵数据，将所述灰度矩阵数据作为所述训练数据集。