[发明专利]基于卷积神经网络的图像处理方法和图像处理装置

说明书

本申请公开了人工智能领域的一种基于卷积神经网络的图像处理方法和图像处理装置，该方法可包括：接收输入图像；对该输入图像进行预处理，得到预处理后的图像信息；利用卷积神经网络对该图像信息进行卷积操作，输出卷积操作结果；其中，在利用第n层卷积层对该图像信息进行卷积操作时，由该层卷积层的m个主卷积核得到r个辅卷积核之后，利用该层卷积层的m个主卷积核和r个辅卷积核分别对该图像信息做卷积运算，将得到的多个特征图进行拼接得到该层卷积层的卷积操作结果。本申请实施例中，图像处理装置可存储各卷积层的主卷积核，在利用各卷积层执行卷积操作之前利用各卷积层的主卷积核生成辅卷积核，可以减少卷积神经网络占用的内存。

本申请要求于2019年3月20日提交的第16359346号、申请名称为“基于卷积神经网络的图像处理方法和图像处理装置”的美国非临时专利申请以及于2019年9月4日提交的、申请号PCT/CN2019/104460的国际专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种图像处理方法和图像处理装置。

背景技术

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断、军事等领域中各种智能系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

得益于图形处理器(graphics processing unit，GPU)以及各种神经网络处理器的快速发展，卷积神经网络(convolutional neuron network，CNN)已经成为计算机视觉领域中不可或缺的一项技术。如今，CNN在移动设备(例如，手机、摄像头、智能家居)上，具有非常多的应用需求，例如图像识别、目标检测等。目前，常用的CNN中每个卷积层的卷积核的参数量常常能够达到几万甚至几十万，整个CNN中参与卷积运算的参数(卷积核参数)的个数加起来，能够达到几千万。如果存储CNN中的每个参数则需要占用上百兆字节的内存空间。然而，移动设备的内存资源非常有限，因此如何降低CNN占用的内存空间是个亟待解决的问题。

发明内容

本申请实施例提供了一种基于卷积神经网络图像处理方法和图像处理装置，可以有效减少卷积神经网络占用的内存。

第一方面，本申请实施例提供了一种基于卷积神经网络图像处理方法，该方法包括：接收输入图像；对该输入图像进行预处理，得到预处理后的图像信息；利用卷积神经网络对该图像信息进行卷积操作，该卷积神经网络包括N层卷积层，该卷积操作包括：使用第n层卷积层中的M个卷积核对该图像信息执行卷积运算，其中，该M个卷积核中包括m个主卷积核和r个辅卷积核，该r个辅卷积核由该m个主卷积核得到，一个主卷积核对应得到一个或多个辅卷积核，且该r个辅卷积核中的每一个辅卷积核所包含的非0元素的个数均少于其对应的主卷积核所包含的非0元素的个数；其中，N和M均为大于0的整数；n为大于0，且小于或等于N的整数；m为大于0且小于M的整数，r为大于0且小于M的整数；输出卷积操作结果，该卷积操作结果包括M个特征图。

该图像处理方法的执行主体为图像处理装置，该图像处理装置可以是手机、平板电脑、笔记本电脑、游戏机、服务器、可穿戴设备等。可选的，由一个主卷积核中的一部分元素得到一个辅卷积核，即该辅卷积核中的元素均来源于该主卷积核。采用这种方式得到的辅卷积核包含的元素的个数少于该辅卷积核对应的主卷积核包含的元素的个数。可选的，将一个主卷积核中的一部分元素设置为0得到一个辅卷积核。采用这种方式得到的辅卷积核包含的非0元素的个数少于该辅卷积核对应的主卷积核包含的非0元素的个数。