[发明专利]去马赛克方法和去马赛克设备

说明书

提供了一种人工神经网络，其配置为将可由具有与多种颜色对应的彩色像素值的像素表示的马赛克图像转换为与所述多种颜色对应的多个色差图像。使用人工神经网络，基于可由具有与所述多种颜色对应的彩色像素值的像素表示的输入马赛克图像，生成与所述多种颜色对应的多个输出色差图像。通过逐个像素地对输入马赛克图像与所述多个输出色差图像中的每个求和，生成与所述多种颜色对应的多个去马赛克彩色图像。

相关申请的交叉引用

本申请要求享有2020年10月23日在韩国知识产权局(KIPO)提交的第10-2020-0138500号韩国专利申请的优先权，该韩国专利申请的公开内容通过引用全文合并于此。

技术领域

示例实施例总体上涉及图像处理。更具体地，示例实施例涉及去马赛克方法和去马赛克设备。

背景技术

图像传感器中的每个像素检测一种颜色，每个像素的其它颜色可以通过相邻像素的像素值的内插来获得。这种颜色内插被称为去马赛克。

一般，重构遗漏的彩色像素值的去马赛克方法导致块噪声，诸如拉链效应、随机色点等。此外，在噪声过滤和边缘模糊之间存在折衷。当在图像边缘附近内插像素值时，使用相邻像素值对遗漏的像素值进行内插可能模糊图像边缘附近的区域。此类问题是由于诸如当边缘两侧的彩色像素值相差很大时对跨边缘的彩色像素值进行平均造成的，并且该平均极大地降低锐度差异从而产生模糊。

通过线性内插对滤色器阵列(CFA)图像或马赛克图像去马赛克的大多数方法可能导致诸如图像细节减少、伪色和锯齿的伪影。因为在多阶段处理期间使用由前一阶段恢复的颜色通道来恢复当前阶段中的颜色通道，所以可能累积误差。

发明内容

一些示例实施例可以提供基于深度学习并能够增强图像细节并减少图像伪影的去马赛克方法。

一些示例实施例可以提供执行基于深度学习的去马赛克方法的去马赛克设备。

根据示例实施例，一种基于深度学习的去马赛克方法包括提供人工神经网络，该人工神经网络配置为将可由具有与多种颜色对应的彩色像素值的像素表示的马赛克图像转换为与所述多种颜色对应的多个色差图像。该去马赛克方法还包括使用人工神经网络，基于可由具有与所述多种颜色对应的彩色像素值的像素表示的输入马赛克图像，生成与所述多种颜色对应的多个输出色差图像。该去马赛克方法还包括通过逐个像素地对输入马赛克图像与所述多个输出色差图像中的每个求和来生成与所述多种颜色对应的多个去马赛克彩色图像。

根据示例实施例，一种去马赛克设备包括加法器电路和存储人工神经网络的存储器。人工神经网络基于可由具有与多种颜色对应的彩色像素值的像素表示的输入马赛克图像来生成与所述多种颜色对应的多个输出色差图像。加法器电路通过逐个像素地对输入马赛克图像与所述多个输出色差图像中的每个求和来生成与所述多种颜色对应的多个去马赛克彩色图像。

根据示例实施例，一种基于深度学习的去马赛克方法包括提供人工神经网络，该人工神经网络配置为将可由具有红色像素值、绿色像素值和蓝色像素值的像素表示的马赛克图像转换为对应于红色、绿色和蓝色的三个色差图像。该去马赛克方法还包括使用人工神经网络，基于可由具有红色像素值、绿色像素值和蓝色像素值的像素表示的输入马赛克图像，生成对应于红色、绿色和蓝色的三个输出色差图像。该去马赛克方法还包括通过逐个像素地对输入马赛克图像与三个输出色差图像中的每个求和来生成对应于红色、绿色和蓝色的三个去马赛克彩色图像。

根据示例实施例的去马赛克方法和去马赛克设备可以减少图像伪影并提高图像质量。可以通过使用具有增强的非线性的人工神经网络生成色差图像以及通过基于色差图像同时恢复去马赛克的彩色图像来提高图像质量。

附图说明

本公开的示例实施例将由以下结合附图的详细描述被更清楚地理解。

图1是示出根据示例实施例的基于深度学习的去马赛克方法的流程图。