[发明专利]基于Winograd卷积的并行深度卷积神经网络优化方法

说明书

本发明提出了一种基于Winograd卷积的并行深度卷积神经网络优化方法，包括：S1，模型批训练阶段，采用基于余弦相似度与归一化互信息的特征过滤策略FF‑CSNMI，通过先筛选后融合的方式消除冗余特征的计算，解决了冗余特征计算过多的问题；S2，参数并行更新阶段，采用并行Winograd卷积策略MR‑PWC，通过使用并行化Winograd卷积降低大数据环境下卷积的计算量，以此提升卷积运算的性能，解决了大数据环境下卷积运算性能不足的问题；S3，参数组合阶段，采用基于任务迁移的负载均衡策略LB‑TM，通过均衡各节点之间的负载降低并行系统各节点的平均反应时长，提升模型参数的并行化合并效率，从而解决了参数并行化合并效率低的问题。本发明在并行效率和分类效果上都有显著的提升。

技术领域

本发明属于大数据分类领域，尤其涉及一种基于Winograd卷积的并行深度卷积神经网络优化 方法。

背景技术

DCNN(Deep Convolutional Neural Network)是一类包含卷积计算且含有深层次结构的前馈神经 网络，具有良好的特征提取能力和泛化能力，被广泛应用于图像处理、目标跟踪与检测、自然语言 处理、场景分类、人脸识别等各个领域。然而随着大数据时代的到来，各个领域所产生的数据呈爆 发式增长，传统DCNN模型的训练代价会随数据量的增长呈指数型增加，模型训练的复杂度也因 大数据环境下任务复杂性的增长呈上升趋势。因此，设计适用于大数据环境下的DCNN算法具有 十分重要的意义。

近年来，随着大数据分布式计算框架在DCNN算法上的广泛应用，谷歌公司提出的MapReduce 分布式计算模型因其在处理大数据方面具有容错性高和可扩展性强等优点，深受广大学者的青睐。 目前已有大量基于MapReduce框架的并行DCNN算法成功运用到了大数据的分析和处理领域当中。 例如Basit等人结合MapReduce提出了DC-CNN(DistributedComputing CNN)训练算法，该算法 采用并行计算的方式对各分布式节点上的模型进行训练，实现了CNN模型在分布式计算系统上的 并行化训练过程，相较于单机器的训练方式，拥有更高的训练效率。基于此，Leung等人在批训练 过程中设计了参数的并行更新策略，提出了MR-PCNN(Parallel CNN based on MapReduce)算法， 该算法通过并行化多个批训练过程实现了模型参数的并行更新，提升了模型参数的更新效率，进而 提升了模型的训练效率。为进一步提升模型的训练效率，Wang等人在参数更新阶段运用了并行化 矩阵乘法运算替换传统卷积运算的思想，提出了MR-MPC(Matrix Parallel Computing method based onMapReduce)算法，该算法通过并行化矩阵乘法的方式提升卷积的运算性能，提高参数更新的 迭代速度，从而提升模型的训练效率。Li等人则在参数组合阶段引入了集中式参数服务器的思想， 提出了MR-CNN(MapReduce-based CNN)训练算法，该算法通过使用HDFS(HadoopDistributed File System)作为参数服务器实现了各节点之间模型参数更新的共享，提升了模型参数的并行化合 并效率，进而提升了模型总体的训练效率。实验结果表明，以上四种并行DCNN算法对模型的训 练效率均有显著的提升，但是仍存在以下不足：(1)在批训练过程中，无论采用的是并行方式或非 并行方式，其训练过程均会产生大量的冗余特征，若不对这些冗余特征进行必要的筛选，将会给模 型训练带来冗余特征计算过多的问题。(2)在参数更新阶段，虽然采用并行化矩阵乘法的方式可以 在一定程度上加速卷积结果的生成，但是该并行化的操作并未改变卷积的计算量，且计算过程需要 频繁的IO操作，在计算密集的训练过程中仍会出现卷积运算性能不足的问题。(3)在参数组合阶 段，由于模型参数的组合速率会因各分布式节点计算能力的偏差而受到影响，因此极易引起各节点 之间出现互相等待的现象，延长分布式系统中各节点的平均反应时长，致使模型在组合阶段产生参 数并行化合并效率低的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于Winograd卷积 的并行深度卷积神经网络优化方法。