[发明专利]一种适用于移动端的卷积神经网络加速方法及系统

说明书

本发明公开了一种适用于移动端的卷积神经网络加速方法及系统，其通过获取待检测图像的参数，利用预设的神经网络模型得到第一线程索引数据和第二线程索引数据，第一滑动窗口位置坐标作为第一线程索引标识，调用第一线程索引数据获取第一卷积输入数据，与第一滑动窗口位置坐标对应的第一卷积核数据进行内积计算；利用多线程并行计算得到当前通道的第一特征图数据；第二滑动窗口位置坐标作为第二线程索引标识，调用第二线程索引数据获得第二卷积输入数据，利用多线程并行计算得到第二输出特征图的所有输出数据，从而实现深度可分离卷积和逐点卷积的并行计算，提高待检测图像的检测速度。

技术领域

本发明属于图像处理领域，具体涉及一种适用于移动端的卷积神经网络加速方法及系统。

背景技术

自20世纪80年代以来，人工智能领域逐渐兴起，早期的人工神经网络(ANN，Artificial Neural Network)结构简单，只能完成一些简单的人工智能任务。随着数据学科和并行计算学科和并行计算学科发展，数据量持续增长，计算机的计算能力不断提高，使得更深、更复杂的神经网络也能有很好的学习能力，从此深度学习在人工智能领域开始暂露头角，

卷积神经网络(CNN，Convolutional Neural Network)作为深度学习发展最重要的分支之一，它的发展是最为成熟的，并广泛应用于各种图形图像视频处理的任务中。卷积神经网络发展如此迅速，除训练数据规模增长和计算能力提升外，还得益于各种卷积神经网络框架。现有的卷积神经网络应用大多是部署在服务器或桌面机平台上，而移动端才是应用最广泛、用户量最多的应用平台，将卷积神经网络应用移动化才能最大限度推动深度学习应用的发展。

自2016年来，移动端的卷积神经网络不断发展，很多轻量化的网络结构被提出，包含深度可分离卷积结构的MobileNets卷积神经网络就是其中应用最广泛的网络之一。从网络结构设计的角度出发，已经将网络模型的参数量和计算量降低，但在现有的一些移动端卷积神经网络框架中，一些网络层数较深的卷积神经网络前向仍然比较缓慢，尤其在实时性要求较高的应用中，如实时视频流处理，这些现有的移动端卷积神经网络框架的计算速度不能满足应用需求。因此，进一步提升卷积神经网络在移动端的计算速度，才能解决移动端卷积神经网络在实时性应用中的速度问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于移动端的卷积神经网络加速方法及系统，其通过多线程索引分别实现多线程并行获取多个通道的特征图数据，同时利用多线程并行计算得到待检测图像多通道的输出特征图数据，实现深度可分离卷积和逐点卷积的并行计算，以提高待检测图像的检测速度。

为实现上述目的，按照本发明的一个方面，提供了一种适用于移动端的卷积神经网络加速方法，该移动端包括多个深度可分离卷积计算单元和多个逐点卷积计算单元，包括如下步骤：

获取待检测图像的参数，利用预设的神经网络模型得到与多个深度可分离卷积计算单元一一对应的多个第一线程索引数据，与多个逐点卷积计算单元一一对应的多个第二线程索引数据，第一线程索引数据包括第一滑动窗口位置坐标、对应通道编号、第一滑动窗口尺寸和与第一滑动窗口位置坐标一一对应的第一卷积核数据，第二线程索引数据包括第二滑动窗口位置坐标、对应通道编号、第二滑动窗口尺寸和与第二滑动窗口位置坐标一一对应的第二卷积核数据；

第一滑动窗口位置坐标作为第一线程索引标识进行第一线程索引数据存储，第二滑动窗口位置坐标作为第二线程索引标识进行第二线程索引数据存储；

获取待检测图像的三维数据，利用当前通道的第一线程索引标识调用第一线程索引数据，依据第一滑动窗口内的待检测图像的三维数据作为第一卷积输入数据，该第一卷积输入数据与第一滑动窗口位置坐标对应的第一卷积核数据进行内积计算；利用移动端的多个深度可分离卷积计算单元进行多线程并行计算，遍历当前通道的第一线程索引标识，得到当前通道的第一特征图数据；