[发明专利]一种基于Spark平台的大规模眼底图像分类系统训练方法

权利要求书

1.一种基于Spark平台的大规模眼底图像分类系统训练方法，其特征在于，包括如下步骤：

S10设置执行分布式卷积神经网络训练必要的参数，所述参数包括训练步数(S)以及模型名称(dname)；

S20调用所述卷积神经网络算法程序，将所述参数代入算法程序，通过分布式蛙跳算法生成所述卷积神经网络训练时的初始权值；

S30使用存储的大规模眼底图像数据对所述卷积神经网络训练，寻找出最优蛙，作为下次分组权值训练的初始权值，完成所述卷积神经网络的训练；以及

S40保存训练完的所述卷积神经网络模型；

其中，经步骤S10～S40训练完的所述卷积神经网络模型即为所述大规模眼底图像分类系统。

2.根据权利要求1所述的基于Spark平台的大规模眼底图像分类系统训练方法，其特征在于，所述步骤S20包括：

S21调用所述卷积神经网络算法程序，将所述参数代入算法程序；

S22采用标准正态分布生成m只青蛙，通过Spark框架计算每只青蛙的适应值，并汇总排序划分种群，接着循环进行局部搜索与混合青蛙重新划分种群，直至混合蛙跳算法符合收敛条件，得到全局最优青蛙f_q，将f_q作为所述卷积神经网络的初始权值。

3.根据权利要求2所述的基于Spark平台的大规模眼底图像分类系统训练方法，其特征在于，所述步骤S22包括如下步骤：

S221初始化所述眼底图像数据集，定义最大训练次数L_max、混合蛙跳算法中青青蛙个数m和种群数n，通过标准正态分布生成蛙群；

S222通过Spark框架并行计算m只青蛙的适应值，首先从所述眼底图像数据集中随机选取x张图像作为参照图像，然后通过并行计算，将每只青蛙带入所述卷积神经网络进行前向传播来计算适应值，适应值计算公式如下：

其中p表示网络输出值，t表示真实值，s'表示每组病变标签的维度，b表示需要同时检测的视网膜病变种类数，i、j、k为整数下标；

S223对未计算损失值的青蛙进行损失值计算，并带入所述卷积神经网络中，并行计算每张图像loss值，并将最终主节点汇总求和得到适应值，如果更新后的适应值比更新之前大，则利用最优蛙f_b替换更新后的适应值；

S224根据适应度函数对所有青蛙进行升序排序，并划分成n个种群，此时，全局适应度最优蛙为f_qb；

S225通过Spark框架实现n个种群分布式并行局部搜索操作，将每个种群作为一个RDD分区，种群内通过位置更新函数对适应度最差蛙的位置进行更新，位置更新函数公式如下：

D＝(f_b+f_p-f_w)×Rand(0,1)，

f_new＝f_w+D，

其中，f_p表示偏移量，其维度与每只青蛙的维度相同，f_pi表示f_p中第i个维度上的值，f_new表示更新后的青蛙，D表示蛙跳的距离，Rand()是取随机数函数，exp()表示以自然常数e为底的指数函数；

S226主节点汇总所有青蛙，将所有青蛙混合；以及

S227判断混合蛙跳算法是否满足收敛条件，如果满足则停止算法运行，将最优蛙f_qb的值作为所述卷积神经网络的初始权值保存至指定目录下，否则转到步骤S223继续执行至混合蛙跳算法满足收敛条件找到最优蛙。

4.根据权利要求1所述的基于Spark平台的大规模眼底图像分类系统训练方法，其特征在于，所述步骤S30从所述大规模眼底图像数据中选取同训练步数相同的眼底图像，将所述眼底图像分两个数据组，通过所述Spark框架进行分布式计算，以每个数据组为单位各自训练网络权值并汇总，由主节点开启分布式蛙跳寻优任务，寻找出最优蛙，作为下次分组权值训练的初始权值。

5.根据权利要求4所述的基于Spark平台的大规模眼底图像分类系统训练方法，其特征在于，所述步骤S30包括如下步骤：

S31根据输入的运行总步数S，进行二次分组，其每组运行步数m'计算公式如下：

其中，w表示用于分布式计算的服务器数量，t'表示汇总次数；

S32以组为单位，读取所述大规模眼底图像数据指定目录下的权值作为初始权值，并执行训练卷积神经网络权值，通过各自独立训练，最终得到n'个不同的网络权值，将这n'个网络权值汇总到基于Spark平台的主节点，n'满足如下公式：

其中，w≥2；

S33将这n'个网络作为初始青蛙，通过混合蛙跳算法进行寻优，寻找出全局最优蛙f_qb，并将最优蛙的权值参数保存至所述大规模眼底图像数据指定目录下，覆盖上一次保存的文件；

S34判断当前分组次数t”是否满足t”≤t'，如果满足，则跳转步骤S32执行，否则执行步骤S35；以及

S35结束混合蛙跳算法运行，返回训练完成状态。