[发明专利]一种基于卷积神经网络的图像处理方法及移动终端

说明书

本发明公开了一种基于卷积神经网络的图像处理方法及移动终端，卷积神经网络包括多个数据层和处理层，该方法在移动终端的GPU中执行，GPU中存储有纹理图和网络参数，纹理图中以第一数据类型存储有当前数据层的多个第一特征图，网络参数包括每一个数据层的每一个特征图所对应的数值范围，该方法包括：从纹理图中获取当前数据层的多个第一特征图；对于每一个第一特征图，根据其所对应的数值范围来将该第一特征图中的数据转化为第二数据类型；当前处理层对第二数据类型的多个第一特征图进行渲染处理，以生成下一个数据层的多个第二特征图；对于每一个第二特征图，根据其所对应的数值范围来将该第二特征图中的数据转化为第一数据类型并存储至纹理图中。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的图像处理方法及移动终端。

背景技术

卷积神经网络(CNN，Convolutional Neural Network)在图像处理领域扮演着重要的角色，例如，图像的分类、分割、风格转换、画质改善等，均可以采用CNN来实现，以取得比传统处理方法更好的效果。目前，基于CNN的图像处理在PC端得到了广泛应用，然而，其在移动终端上的应用仍存在瓶颈，尤其是当CNN达到数百层时，需要大量的浮点数乘法运算及大量的内存申请，导致移动终端的计算效率跟不上CNN的发展速度。

移动端GPU的发展以及跨平台的OpenGL ES(Open Graphics Library forEmbedded Systems)图形程序接口为移动端的CNN计算带来了极大的便利。虽然基于OpenGLES的GPU并行计算提高了CNN的处理效率，在脚本渲染时能够快速进行浮点数的运算，但其在数据存储方面仍存在瓶颈。一方面，OpenGL ES的纹理支持的数据类型为无符号8位整型(uint8)，16位或32位浮点(float16，float32)等，但移动终端的存储空间参差不齐，存储空间较小的移动终端难以支撑CNN计算，OpenGL ES的渲染脚本未必适用于所有移动终端。另一方面，OpenGL ES支持的纹理的大小也有限制，相对低端的GPU芯片，纹理的宽和高均需限制在2048个像素的范围内。此外，对于图像风格转换、视频风格转换等复杂的图像处理，CNN往往多达几十层甚至数百层，在采用纹理存储CNN数据时，势必会导致大量纹理的创建、绑定和解绑，降低了计算效率。

因此，需要提供一种兼容性更好、且计算效率更高的CNN图像处理方法。

发明内容

为此，本发明提供一种基于卷积神经网络的图像处理方法及移动终端，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种基于卷积神经网络的图像处理方法，所述卷积神经网络包括多个数据层和多个处理层，每个数据层包括多个特征图，所述方法在移动终端的图形处理器中执行，所述图形处理器包括图形存储器，所述图形存储器中存储有纹理图和网络参数，所述纹理图中以第一数据类型存储有当前数据层的多个第一特征图，所述网络参数包括每一个数据层的每一个特征图所对应的数值范围，所述数值范围按照以下步骤确定：将预定数量的测试图像输入所述卷积神经网络；记录每一个测试图像在所述卷积神经网络的计算过程中所得到的每一个数据层的每一个特征图算例；对于所述卷积神经网络的每一个数据层的每一个特征图，根据该特征图所对应的所有测试图像的特征图算例来确定该特征图的数值范围；所述方法包括：从所述纹理图中获取当前数据层的多个第一特征图；对于每一个第一特征图，根据其所对应的数值范围来将该第一特征图中的数据转化为第二数据类型；当前处理层对第二数据类型的多个第一特征图进行渲染处理，以生成下一个数据层的多个第二特征图；对于每一个第二特征图，根据其所对应的数值范围来将该第二特征图中的数据转化为第一数据类型；将多个第二特征图以第一数据类型存储至所述纹理图中。

可选地，在根据本发明的基于卷积神经网络的图像处理方法中，所述预定数量的测试图像包括第一数量的真实图像和第二数量的随机图像，其中，所述第一数量大于等于所述第二数量，所述随机图像的RGB值为采用高斯分布函数随机生成。