[发明专利]转变图像风格的方法和装置、卷积神经网络处理器

权利要求书

1.一种转变图像风格的方法，包括将原始图像输入卷积神经网络中处理得到结果图像，其特征在于，所述卷积神经网络包括至少一个通道，每个通道包括依次连接的下采样段、密集连接段、上采样段；其中，

下采样段包括交替设置的至少一个下采样单元和至少一个卷积层，所述下采样单元用于将其输入转变为下一尺度的输出；

密集连接段包括至少一个密集连接卷积网络模块，每个密集连接卷积网络模块包括多个依次连接的、具有卷积层的卷积块，每个卷积块的输出均为其后所有卷积块的输入，且也为密集连接卷积网络模块的输出，密集连接卷积网络模块的输入为其中所有卷积块的输入；

上采样段包括交替设置的至少一个上采样单元和至少一个卷积层，所述上采样单元用于将其输入转变为下一尺度的输出；

同一通道的下采样段中的下采样单元与上采样段中的上采样单元数量相等且相互对应；

所述卷积神经网络包括多个通道，所述多个通道包括：

分别对应图像的YUV颜色空间的Y分量、U分量、V分量的Y通道、U通道、V通道，所述YUV颜色空间为YUV420或YUV422；

所述Y通道的下采样段中包括最大尺度的卷积层，且上采样段中包括的最大尺度的卷积层；

所述U通道、V通道的下采样段中无最大尺度的卷积层，其第二大尺度的卷积层前仅包括下采样单元；

所述U通道、V通道的上采样段中无最大尺度的卷积层，其第二大尺度的卷积层后仅包括上采样单元。

2.根据权利要求1所述的转变图像风格的方法，其特征在于，

每个所述卷积块包括依次连接的第一卷积层和第二卷积层，其中第一卷积层包含一个1*1的卷积核，第二卷积层包含一个3*3的卷积核。

3.根据权利要求1所述的转变图像风格的方法，其特征在于，

所述下采样段还包括：至少一个跨尺度连接，其用于对一个下采样单元的输出进行下采样，并将下采样结果输入到至少向后跨越一个尺度的卷积层中；

和/或，

所述上采样段还包括：至少一个跨尺度连接，其用于对一个上采样单元的输出进行上采样，并将上采样结果输入到至少向后跨越一个尺度的卷积层中。

4.根据权利要求3所述的转变图像风格的方法，其特征在于，

所述下采样段的跨尺度连接的下采样为D-Bicubic采样；

所述上采样段的跨尺度连接的上采样为U-Bicubic采样。

5.根据权利要求1所述的转变图像风格的方法，其特征在于，所述卷积神经网络还包括：

至少一个跨段连接，其用于将下采样段的一个尺度的卷积层的输出输入至上采样段的对应尺度的卷积层中。

6.根据权利要求1所述的转变图像风格的方法，其特征在于，

所述Y通道、U通道、V通道的输出连接融合单元，所述融合单元用于将YUV颜色空间转变为RGB颜色空间。

7.根据权利要求1所述的转变图像风格的方法，其特征在于，在所述将原始图像输入卷积神经网络中处理得到结果图像前，还包括对卷积神经网络进行训练，所述训练包括：

选定一幅风格图像，将所述风格图像输入分析网络中提取其风格特征；

从训练图像集合中选择一幅图像为内容图像，并将被选择的图像从训练图像集合中除去；

将所述内容图像输入卷积神经网络中处理得到训练图像；将所述内容图像输入所述分析网络中提取其内容特征；

将所述训练图像输入所述分析网络中提取其内容特征和风格特征；

通过损失函数对内容图像的内容特征与训练图像的内容特征进行比较，并对风格图像的风格特征与训练图像的风格特征进行比较，得到损失；

根据所述损失调整卷积神经网络；

判断当前是否满足预设结束条件，若是则结束训练，若否则返回所述从训练图像集合中选择一幅图像为内容图像的步骤，继续用重新选取的内容图像进行训练。