[发明专利]一种在大数据集群中处理深度学习任务的方法及装置

说明书

本发明涉及一种大数据的技术领域，揭露了一种在大数据集群中处理深度学习任务的方法，包括：将海量图像数据存储到大数据集群中，对所存储的海量图像数据进行图像灰度化的灰度拉伸的预处理；利用基于闪电连接过程优化算法的聚类算法对大数据集群中的存储图像数据进行聚类划分；利用静态优化策略进行子数据集的提取，将所提取的子数据集作为深度学习任务的训练集；利用改进后的点锐度算法评价训练集中图像数据的清晰度，并利用高通滤波对清晰度较低的图像进行锐化处理；利用改进的SSD深度学习模型进行深度学习任务。本发明还提供了一种在大数据集群中处理深度学习任务的装置。本发明实现了大数据集群中的深度学习任务的处理。

技术领域

本发明涉及大数据的技术领域，尤其涉及一种在大数据集群中处理深度学习任务的方法及装置。

背景技术

随着社会技术的飞速发展，互联网已经在人们的日常生活和工作中得到了非常广泛的应用，在访问互联网应用和获取需要的信息的同时，也相应产生了大量的数据，这些数据以PB级速度迅速上升，人们开始迈入大数据时代。同时随着数据量的快速增长，由于深度学习技术会随着训练数据的增长而具备更好的效果，慢慢代替了传统机器学习技术，而如何利用大数据进行深度学习任务成为当前领域的热门话题。

当前大部分的大数据集群存在随着访问控制策略的不断增加，大数据集群中的数据无法删除，大数据集群平台的存储压力会逐渐增大的问题，从而影响后续数据的管理、查询和使用效率。

鉴于此，如何对大数据集群进行改进，并利用改进后的大数据集群进行深度学习任务的处理，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种在大数据集群中处理深度学习任务的方法，通过利用基于闪电连接过程优化算法的聚类算法对大数据集群中的存储数据集进行聚类划分，并提出一种静态优化策略，利用所述静态优化策略进行划分数据集的提取，从而利用所提取的划分数据集进行深度学习任务的实现。

为实现上述目的，本发明提供的一种在大数据集群中处理深度学习任务的方法，包括：

获取海量图像数据，并将海量图像数据存储到大数据集群中，从而对所存储的海量图像数据进行图像灰度化的灰度拉伸的预处理；

利用基于闪电连接过程优化算法的聚类算法对大数据集群中的存储图像数据进行聚类划分，得到若干子数据集；

利用静态优化策略进行子数据集的提取，将所提取的子数据集作为深度学习任务的训练集；

利用改进后的点锐度算法评价训练集中图像数据的清晰度，并利用高通滤波对清晰度较低的图像进行锐化处理；

根据训练集中的图像数据，训练得到改进的SSD深度学习模型，并利用改进的SSD深度学习模型进行深度学习任务。

可选地，所述获取海量图像数据，并将海量图像数据存储到大数据集群，并进行图像灰度化的灰度拉伸的预处理，包括：

获取海量用于深度学习任务的数据，在本发明一个具体实施例中，所述深度学习任务为基于深度学习的人脸识别任务，因此本发明获取海量图像数据，所述图像数据包含3/4的人脸图像，以及1/4的非人脸图像；

将所述海量图像数据存储到大数据集群中，在本发明一个实施例中，所述大数据集群包括Hadoop数据库以及Spark计算引擎；

利用灰度化算法以及灰度拉伸算法对大数据集群中的海量图像数据进行预处理，所述预处理流程为：

1)通过对所存储的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到存储图像的灰度图，所述灰度化处理的公式为：

G(i,j)＝max{R(i,j),G(i,j),B(i,j)}

其中：