[发明专利]利用针对图像区域提供的附加内容来生成经修改的图像

说明书

相关申请

本申请要求2009年5月6日提交的序列号为No.61/215,465的美国临时申请以及2009年5月21日提交的序列号为No.12/454,666的美国专利申请的优先权，其标题均为“GENERATING A MODIFIED IMAGE WITH ADDITIONAL CONTENT PROVIDED FOR A REGION THEREOF”，它们每个的全文均通过引用而包含于此。

背景技术

本说明书涉及数字图像处理。

一些现有图像处理技术使用基于补丁(patch)的技术来操纵内容。处理可以涉及分析或合成图像内容的补丁(例如，像素群组)。例如，基于补丁的方式被用于对图像和视频内容的降噪；提高图像分辨率，诸如执行超分辨率；压缩图像内容；诸如通过重定向来改变图像纵横比；重组图像内容；将图像拼接在一起；编辑图像内容；以及执行纹理合成。基于补丁的方法对于合成操作可具有一些益处。例如，可以处理结构、纹理、重复性图案和冗余。

已经尝试了按照不同方式来使图像完整的多种技术，并且这些技术可以依赖于基于补丁的技术。例如，存在孔洞填补技术，其试图通过分析图像中其他地方的内容来找出用于该图像中的孔洞的内容。还存在克隆技术，其中用户可以人工地选择源区域，该源区域继而被克隆至目标区域以填充该孔洞。

发明内容

本发明涉及使用由用户提供的语义信息的图像修改。

在第一方面，一种计算机实现的用于生成经修改图像的方法，包括：在计算机系统中显示图像。该图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。该方法包括：接收包括要放置在该图像上的语义标记的输入，该语义标记指示该区域内的区域内部分和该区域外的区域外部分。该方法包括使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容，该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的附加内容。该方法包括存储在该区域中具有附加内容的经修改图像。

各种实现可以包括以下特征中任意或全部特征。区域可以包括图像中不包含内容的孔洞，并且经修改图像可以在孔洞填充过程中生成。该孔洞可被填充以使得特征延伸到之前未包含该内容的区域中。图像可以是照片，而特征可以是物理对象，并且区域可以对应于特征中缺失的物理对象的结构而被定义。语义标记可以使用至少以下之一做出：直线工具、弧线工具、刷子工具、区域选择工具及其任意组合。语义标记的一部分可以放置在区域内部以指示区域内部分，而语义标记的另一部分可以放置在区域外部以指示区域外部分。可以将识别特性指派给语义标记，该识别特性将语义标记与图像中的至少一个其他语义标记相区分，从而使得基于补丁的优化算法单独处理各语义标记。语义标记可以相互交叉，并且基于补丁的优化算法可以单独处理各语法标记。该方法还可以包括接收针对基于补丁的优化处理来定义附加语义约束的另一输入。该附加约束可以包括至少以下之一：针对基于补丁的优化算法的连贯性(coherence)方面定义的第一搜索空间限制，该第一搜索空间限制拒绝至少图像的第一区域在附加内容中的使用；以及针对基于补丁的优化算法的完整性(completeness)方面定义的第二搜索空间限制，该第二搜索空间限制要求附加内容关于由第二搜索空间限制所指示的图像的第二区域是完整的。区域外部分可以位于与具有该区域的图像分离的另一图像中。

可以使用有形地体现在有形程序载体中的计算机程序产品来实现方法，该计算机程序产品包括指令，当该指令由处理器执行时，执行方法。

在第二方面，一种图形用户界面，包括：在计算机系统中显示图像的图像显示区域，该图像包括其内具有可视特征的内容，该内容具有被定义为在生成经修改图像时被提供附加内容的区域。该图形用户界面包括用于接收包括要放置在该图像上的语义标记的输入的输入控件，该语义标记指示该区域内的区域内部分和该区域外的区域外部分。使用向该图像应用的基于补丁的优化算法来确定用于该区域的附加内容，该基于补丁的优化算法(i)基于该区域外部分而不基于该语义标记未指示的图像区域来识别用于该区域内部分的附加内容；以及(ii)在不限制于该区域外部分的情况下，识别用于该区域的剩余部分的附加内容，并且存储在该区域中具有附加内容的经修改图像。