[发明专利]一种基于Spark平台的大规模眼底图像分类系统训练方法

说明书

本发明提供了一种基于Spark平台的大规模眼底图像分类系统训练方法，包括如下步骤：S10设置执行分布式卷积神经网络训练必要的参数；S20调用所述卷积神经网络算法程序，将所述参数代入算法程序，通过分布式蛙跳算法生成所述卷积神经网络训练时的初始权值；S30使用存储的标准图像数据对所述卷积神经网络训练，寻找出最优蛙，作为下次分组权值训练的初始权值，完成所述卷积神经网络的训练；以及S40保存训练完的所述卷积神经网络模型。本发明的一种基于Spark平台的大规模眼底图像分类系统训练方法，采用混合蛙跳算法生成网络初始权值，通过分组优化策略实现卷积神经网络的分布式并行训练，可有效提高大规模眼底图像在卷积神经网络训练时的高效性和分类的准确性。

技术领域

本发明涉及医疗大数据技术领域，具体涉及一种基于Spark平台的大规模眼底图像分类系统训练方法。

背景技术

随着医疗卫生信息化建设，医疗大数据的规模和类型正在以非常快的速度增长，其中医学图像和影音数据占了很大比例。眼底图像是医学图像中一种用于基础和无创的视网膜检查手段，随着眼底图像数据量的迅速增长，亟需一些新颖的大数据处理方法来对大规模的眼底图像数据进行分类研究。

近年来，卷积神经网络发展迅速，其在图像分类领域应用展现出一定的优势。但在面对大规模眼底图像数据时，卷积神经网络的训练与图像分类将会耗费大量的时间，往往效果不符合实际要求。

发明内容

为了解决上述问题，本发明提供了一种基于Spark平台的大规模眼底图像分类系统训练方法，采用混合蛙跳算法生成网络初始权值，通过分组优化策略实现卷积神经网络的分布式并行训练，可有效提高大规模眼底图像在卷积神经网络训练时的高效性和分类的准确性。

为了实现以上目的，本发明采取的一种技术方案是：

一种基于Spark平台的大规模眼底图像分类系统训练方法，包括如下步骤：S10设置执行分布式卷积神经网络训练必要的参数，所述参数包括训练步数(S)以及模型名称(dname)；S20调用所述卷积神经网络算法程序，将所述参数代入算法程序，通过分布式蛙跳算法生成所述卷积神经网络训练时的初始权值；S30使用存储的大规模眼底图像数据对所述卷积神经网络训练，寻找出最优蛙，作为下次分组权值训练的初始权值，完成所述卷积神经网络的训练；以及S40保存训练完的所述卷积神经网络模型；其中，经步骤S10～S40训练完的所述卷积神经网络模型即为所述大规模眼底图像分类系统。

进一步地，所述步骤S20包括：S21调用所述卷积神经网络算法程序，将所述参数代入算法程序；S22采用标准正态分布生成m只青蛙，通过Spark框架计算每只青蛙的适应值，并汇总排序划分种群，接着循环进行局部搜索与混合青蛙重新划分种群，直至混合蛙跳算法符合收敛条件，得到全局最优青蛙f_q，将f_q作为所述卷积神经网络的初始权值。

进一步地，所述步骤S22包括如下步骤：S221初始化所述眼底图像数据集，定义最大训练次数L_max、混合蛙跳算法中青青蛙个数m和种群数n，通过标准正态分布生成蛙群；S222通过Spark框架并行计算m只青蛙的适应值，首先从所述眼底图像数据集中随机选取x张图像作为参照图像，然后通过并行计算，将每只青蛙带入所述卷积神经网络进行前向传播来计算适应值，适应值计算公式如下：