[发明专利]用于移除文本的基于二值化和归一化的修补

说明书

融合掩模作为边缘掩模、轮廓掩模和二值掩模的组合提取用于修补的文本。所述边缘掩模查找所述文本的一组分层闭合边缘轮廓，并在所述闭合边缘轮廓中填充标记为可能的文本的像素作为轮廓掩模。对原始图像应用二值化方法以将所述原始图像转换为二值图像并检测所述二值图像中文本的笔画边缘。基于所述文本的所述检测到的笔画边缘对所述二值图像进行分割，并对每个图像分区应用至少一个二值化方法以获得二值掩模候选作为用于修补的前景。对所述原始图像应用所述融合掩模以提取所述文本，以及在提取所述文本的所述原始图像的各个部分使用修补算法进行修补。

相关申请案交叉申请

本申请要求于2018年8月21日提交的、申请名称为“用于移除文本的基于二值化和归一化的修补(Binarization and Normalization-Based Inpainting for RemovingText)”的美国临时申请第62/720,558号的优先权和权益，其申请以引用的方式并入本文中。

技术领域

本文中的公开内容涉及一种图像处理设备和相关方法，更具体地，涉及用于基于文本区域二值化和归一化的修补的系统和方法，所述系统和方法用于移除不同类型的文本以及恢复图像的背景。

背景技术

数字修补是将算法应用于图像以替换图像数据中丢失、恶化或损坏的部分的过程。修补可用于替换图像编码和传输中的丢失块，以及从图像和视频中移除标志或文本，并填充原始图像的缺失细节。图像修补的应用范围很广，包括照片的修复、胶片的修复、文字、字幕、标志、邮票、刮痕等遮挡的移除等。

有时，图像可能包含嵌入的文本，出于美观、翻译或其他原因，这些文本将被移除。在这些情况下，目标是移除不需要的文本，恢复文本所在的图像的背景，并用图像背景重新填充文本区域。然而，当文本区域不是水平的且以一定角度旋转时，该过程变得复杂。此外，文本区域的字符可以具有任何文本大小、艺术字体或色彩，进一步使得文本移除和修补过程复杂化。现有流程无法有效移除此类文本，且当在例如移动设备上应用时，无法高效、低功耗地对各种文本样式和角度的多个文本区域进行文本修补。

正如刚刚指出的，修补的应用之一是从图像中移除文本或对象，如文本字幕和标志。图1示出了另一示例，其中移除了图像102中的文本“NOODLES”，并在图像104中修补了背景。如图所示，修补后的图像104不一致。在文本翻译应用中，希望移除原始文本并用已翻译文本替换原始文本。图2示出了翻译器应用，其中在渲染已翻译文本206(此时即“Emergencyrefuge”)之前，使用修补来移除图像202中的原始字符以获得干净的背景204。

图3示出了一种用于如图2中所示的图像渲染的通用修补框架。如图所示，分为两个步骤：

1、查找与原始图像300大小相同的文本掩模(图像分割)，其中文本标记为白色，背景标记为黑色(步骤302)。所述文本掩模303区分文本前景和背景的像素。理想的掩膜将覆盖文本的所有像素。分离前景和背景的技术包括，例如，US9,042,649中描述的自适应阈值化技术。