[发明专利]一种在大数据集群中处理深度学习任务的方法及装置

权利要求书

1.一种在大数据集群中处理深度学习任务的方法，其特征在于，所述方法包括：

获取海量图像数据，并将海量图像数据存储到大数据集群中，从而对所存储的海量图像数据进行图像灰度化的灰度拉伸的预处理；

利用基于闪电连接过程优化算法的聚类算法对大数据集群中的存储图像数据进行聚类划分，得到若干子数据集；

利用静态优化策略进行子数据集的提取，将所提取的子数据集作为深度学习任务的训练集；

利用改进后的点锐度算法评价训练集中图像数据的清晰度，并利用高通滤波对清晰度较低的图像进行锐化处理；

根据训练集中的图像数据，训练得到改进的SSD深度学习模型，并利用改进的SSD深度学习模型进行深度学习任务。

2.如权利要求1所述的一种在大数据集群中处理深度学习任务的方法，其特征在于，所述对所存储的海量图像数据进行图像灰度化的灰度拉伸的预处理，包括：

1)通过对所存储的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到存储图像的灰度图，所述灰度化处理的公式为：

G(i，j)＝max{R(i，j)，G(i，j)，B(i，j)}

其中：

(i，j)为存储图像中的一个像素点；

R(i，j)，G(i，j)，B(i，j)分别为像素点(i，j)在R、G、B三个颜色通道中的值；

G(i，j)为像素点(i，j)的灰度值；

2)根据所述灰度图像，本发明利用分段线性变换的方式对图像的灰度进行拉伸的公式为：

其中：

f(x，y)为灰度图像的灰度图；

MAX_f(x，y)，MIN_f(x，y)分别为灰度图的最大灰度值和最小灰度值。

3.如权利要求2所述的一种在大数据集群中处理深度学习任务的方法，其特征在于，所述利用基于闪电连接过程优化算法的聚类算法对大数据集群中的存储图像数据进行聚类划分，包括：

1)初始化大数据集群中图像数据的位置，并利用K-means算法生成K个初始聚类中心，进行随机初始聚类中心的赋值，即生成N种代表初始聚类中心的个体方案，其中N为随机初始聚类中心赋值的次数；

2)计算所有图像数据到各类聚类中心的距离，对于一组类中心则可将数据集划分成了K个类簇；

3)计算各个体的适应位置值，并找出最差图像数据：

其中：

c_i表示第i个类中心；

x_j表示第j个图像数据；

u_i，j表示隶属度，即表明一个图像数据只能属于一个类，对于其余类的隶属度为0；

d²(x_j，c_i)表示图像数据x_j到类中心c_i的距离；

计算出大数据集群中所存储图像数据的平均适应位置值：

f_ave＝mean(f)

其中：

f为所存储图像数据的适应位置值总和；

若存在f_c＜0.5f_ave，则更新最差个体为当前f_c；

4)从大数据集群中随机选取一个图像数据x_h，计算图像数据x_h的适应位置值f_h，若f_h大于大数据集群的平均适应位置值，则利用下式更新所有图像数据的适应位置值：

f_j＝f_j+rand×(f_ave+rand×f_h)

反之则利用下式进行图像数据适应位置值的更新：

f_j＝f_j-rand×(f_ave+rand×f_h)

重新计算大数据集群中所存储图像数据的平均适应位置值f_ave，同时根据适应位置值对所有图像数据的位置进行更新迭代，所述图像数据位置的更新公式为：

x_i＝x_i+rand×S×(f_ave+rand×(f_max-f_min))

其中：

f_max，f_min分别代表大数据集群中所存储图像数据的最优适应位置值和最差适应位置值；

t表示当前迭代次数，t_max表示最大迭代次数；

5)重复3)-4)直到达到最大迭代次数，根据此时图像数据在大数据集群中的位置值，进行聚类中心的计算，从而输出一组最优聚类中心点；

6)根据上一步得到的聚类中心，计算他们之间的距离值，由聚类中心的最小距离形成多个中心区域，划分数据集；对中心区域外的离群数据点进行归并，加入到距离其最近的局部数据划分数据集中，形成多个子数据集。