[发明专利]一种自动抠图系统、方法以及装置

权利要求书

1.一种自动抠图系统，其特征在于，所述系统包括：

主体分割模块，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图，

候选区域生成模块，检测输入的原始图像，根据检测到的主体候选区域生成候选区域的边框；

边界生成模块，对候选区域边框进行细分，将图像划分为主体内和主体外，将主体内的图像区域颜色设为第一色，主体外的图像区域颜色设为第二色，得到包含主体区域的遮罩图；

其主体检测模块是一个Unet结构的神经网络，U型的左半部分是特征提取部分，采用了四个卷积池化层，每一个卷积池化操作之后，图像宽高变为原先的1/2,得到一个新的尺度，加上输入层一共是5个尺度，卷积池化层的作用为特征提取；U型的右半部分是上采样部分，同样有四个上采样层，每上采样一次，图像宽高变成原先的2倍，再与左半部特征提取部分对应的尺度图像融合，得到主体部分位置信息的遮罩图，上采样的作用是恢复出细节部分，提高分割的精度，采用COCO数据集作为训练样本和标签，神经网络的损失函数采用交叉熵，随机梯度下降用于优化，激活函数采用Relu,两个连续的卷积层之间使用0.2的dropout进行训练，得到训练模型，用于的图片输入Unet神经网络，可得到分割后的遮罩图；

三分图生成模块，对包含主体区域的遮罩图进行处理，生成三分图，其进一步包括：将主体区域的遮罩图进行扩展，将分割得到的主体区域用腐蚀算法进行缩小，作为三分图中的前景区域即为白色区域，将主体区域用膨胀算法进行放大，放大之后的主体以外区域作为三分图的背景区域即为黑色区域，将白色与黑色之间的区域作为未知区域即为灰色；三分图中的黑色区域在alpha图中还是黑色即为像素的值为0，三分图中的白色区域在alpha图中还是白色即为像素的值为255,三分图中的灰色区域，会根据抠图算法进行计算，使之转变成介于0和255之间的值,最终alpha图中的这些点的值用以表示原图中对应位置的点在生成的结果图中的透明度值；

抠图模块，抠出原始图像中的主体，输出包含主体的第一图像；其还包括对原图和三分图进行运算，得到粗抠后的主体部分的alpha图；

精修模块，精修模块对抠图模块输出的第一图像进行进一步的修图，得到包含主体的第二图像,根据接收到用户的手指输入，把原图片中想保留的区域，在alpha图中设置白色即为代表前景区域，把原图片中想擦除的区域设置成黑色即为代表背景区域，以对实现精修；

所述主体分割模块、三分图生成模块、抠图模块和精修模块之间以流水线的形式协同工作。

2.一种自动抠图方法，其特征在于，进一步包括:

主体分割步骤，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图，

候选区域生成步骤，检测输入的原始图像，根据检测到的主体候选区域生成候选区域的边框；

边界生成步骤，对候选区域边框进行细分，将图像划分为主体内和主体外，将主体内的图像区域颜色设为第一色，主体外的图像区域颜色设为第二色，得到包含主体区域的遮罩图；

其主体检测是一个Unet结构的神经网络，U型的左半部分是特征提取部分，采用了四个卷积池化层，每一个卷积池化操作之后，图像宽高变为原先的1/2,得到一个新的尺度，加上输入层一共是5个尺度，卷积池化层的作用为特征提取；U型的右半部分是上采样部分，同样有四个上采样层，每上采样一次，图像宽高变成原先的2倍，再与左半部特征提取部分对应的尺度图像融合，得到主体部分位置信息的遮罩图，上采样的作用是恢复出细节部分，提高分割的精度，采用COCO数据集作为训练样本和标签，神经网络的损失函数采用交叉熵，随机梯度下降用于优化，激活函数采用Relu,两个连续的卷积层之间使用0.2的dropout进行训练，得到训练模型，用于的图片输入Unet神经网络，可得到分割后的遮罩图；

三分图生成步骤，对包含主体区域的遮罩图进行处理，生成三分图，其进一步包括：将主体区域的遮罩图进行扩展，将分割得到的主体区域用腐蚀算法进行缩小，作为三分图中的前景区域即为白色区域，将主体区域用膨胀算法进行放大，放大之后的主体以外区域作为三分图的背景区域即为黑色区域，将白色与黑色之间的区域作为未知区域即为灰色；三分图中的黑色区域在alpha图中还是黑色即为像素的值为0，三分图中的白色区域在alpha图中还是白色即为像素的值为255,三分图中的灰色区域，会根据抠图算法进行计算，使之转变成介于0和255之间的值,最终alpha图中的这些点的值用以表示原图中对应位置的点在生成的结果图中的透明度值；

抠图步骤，抠出原始图像中的主体，输出包含主体的第一图像；其还包括对原图和三分图进行运算，得到粗抠后的主体部分的alpha图；

精修步骤，精修模块对抠图模块输出的第一图像进行进一步的修图，得到包含主体的第二图像,根据接收到用户的手指输入，把原图片中想保留的区域，在alpha图中设置白色即为代表前景区域，把原图片中想擦除的区域设置成黑色即为代表背景区域，以实现精修；

所述主体分割步骤、三分图生成步骤、抠图步骤和精修步骤之间以流水线的形式协同工作。