[发明专利]图像处理方法及系统、电子设备及存储介质

说明书

本发明公开了一种图像处理方法及系统、电子设备及存储介质，图像处理方法包括：将图像中所有像素点的RGB值输入至经过整型量化的深度神经网络模型；其中，所述深度神经网络模型中每一层网络的输出和权重均被量化为整型；将所述深度神经网络模型输出的整型概率数组反量化为浮点型概率数组；其中，所述概率数组中包括所述图像中每个像素点为前景人像的概率。本发明通过将图像中所有像素点的RGB值输入至经过整型量化的深度神经网络模型，其中，深度神经网络模型中每一层网络的输出和权重均被量化为整型，保证了深度神经网络模型计算前景人像概率的过程中全程整数运算，与现有技术中进行浮点运算相比，节省了带宽，减少了延时，降低了功耗。

技术领域

本发明涉及图像处理领域，特别涉及一种图像处理方法及系统、电子设备及存储介质。

背景技术

人像背景替换技术，本质上是一个人像抠图任务加上一个人像背景融合任务。具体而言，从含有人像的自然图像或者视频中精确地估计出前景人像，并将其与预置的背景图片无缝地融合起来。

人像抠图属于抠图(image matting)任务，其本质上属于像素级回归任务，可以用以下公式表示：

I_i＝α_iF_i+(1-α_i)B_i,α_i∈[0,1]

其中，第i个像素点的值I_i是由前景点F_i和背景点B_i按上式加权而成的，α_i为前景透明度，描述了该像素属于前景人像的概率，也就是要求解的“alpha matte”矩阵。但是，对于每个像素点(R，G，B)，有3个已知量，7个未知量，这是一个高度不适定的(highly ill-posed)问题，求解是非常困难的。

传统的方法例如Closed-Form Matting、Shared Matting、KNN Matting等引入三分图(trimap)作为约束，它将图像划分为3个区域，分别为确定前景、确定背景和不确定区域，解决了上述困难求解的问题，提高了抠图的效果。但是三分图制作需要用户提供，抠图的任务无法自动完成，需要人工交互，从而限制了它的应用，特别是一些对实时性有要求的应用，例如实时人像背景替换。

随着大数据的发展以及大规模硬件加速设备的出现，深度学习获得了空前的发展，物体分类、目标检测以及语义分割的精度得到了极大地改善。通过将深度语义分割集成到抠图技术，实现了端到端的自动人像抠图，无需人工交互。一种现有做法是先通过语义分割网络生成二分类的前景背景图，处理成三分图或者直接生成三分图，将三分图与原RGB图合并通道输入进行图像的精细抠图。另一种现有做法是将抠图看作是一个语义软分割的问题，具体从谱分解角度处理语义软分割的问题，将来自输入图像的纹理和颜色信息与经过场景分析训练的卷积神经网络生成的高级语义线索相结合，设计一个图形结构，在响应的拉普拉斯矩阵的特征向量中揭示语义对象以及他们之间的软转换。

现有技术中提供的上述抠图方案要么需要人工交互，不能自动完成，要么都是浮点网络模型，计算量大、内存消耗严重，只能运行在云端服务器或者桌面端。对于诸如手机端、边缘设备端等，这些方案都受到内存、功耗、速度等的限制而无法使用。另外，不同于分类问题，人像背景替换的抠图需要精准地回归出一个alpha，对量化精度损失非常敏感，若直接从现有浮点模型到定点模型转换，会出现严重的量化精度损失，产生明显的视觉瑕疵，例如会在alpha图边缘出现严重的量化锯齿或者量化波纹。

发明内容

本发明要解决的技术问题是为了克服现有技术中的上述缺陷，提供一种图像处理方法及系统、电子设备及存储介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明的第一方面提供一种图像处理方法，包括：