[发明专利]图像处理设备、方法及程序

说明书

技术领域

本技术涉及图像处理设备、方法及程序，更具体地，涉及使能够更简单的图像合成的图像处理设备、方法及程序。

背景技术

例如，当用户与另一用户成对旅行时会拍摄纪念照片。在这样的情况下，图像合成是用于获得捕捉两个用户的图像的可想到的技术。

换句话说，第一用户可以首先拍摄第二用户和风景的照片。由此，获得第一拍摄图像。随后，第二用户可以拍摄第一用户和风景的照片。由此，获得第二拍摄图像。

通过随后将由此获得的第一拍摄图像和第二拍摄图像进行合成，可以获得将两个用户连同风景一起捕捉的合成的图像。

例如，JP2003-274263A公开了用于实现这样的图像合成的技术。然而，由于第一拍摄图像与第二拍摄图像之间的接缝被当作是直线，所以合成图像包括拍摄人物使得他们不与那条线交叠，这是不便的。

因此，已经提出利用图割法（graph cut technique）来适应性地确定拍摄图像之间的接缝的位置的技术（例如，参见JP2011-138313A和JP2011-139288A）。

通过这样的技术，从拍摄图像中检测出认为是人的区域，更强的值被设置给与所检测的部分对应的数据参数，并且根据两张拍摄图像之间的差异强度附加地设置了平滑化参数。然后通过图割法适应性地确定接缝以使数据参数与平滑化参数的和最小。

发明内容

然而，通过上述技术尚无法用简单的处理来将两张拍摄图像适当地合成。

例如，对于利用图割法的技术，使用诸如边缘信息的信息来检测认为是人的区域。然而，这样的检测技术是探索性的，并且几乎不能说检测精度高。由于这个原因，难以适当地计算拍摄图像之间的接缝的位置。而且，利用图割法的技术包括计算平滑化参数和数据参数两者以及使平滑化参数和数据参数的总能量函数最小化的复杂运算。

鉴于这样的情况设计出本技术，本技术使得能够用更简单的处理来适当地合成图像。

根据本公开内容的实施方式，提供有一种图像处理设备，该图像处理设备将包括第一前景物体和背景的第一拍摄图像与包括第二前景物体和背景的第二拍摄图像合成，并且生成包括第一前景物体、第二前景物体和背景的输出图像，该图像处理设备包括：接缝候选区域确定单元，该接缝候选区域确定单元确定通过将第一前景物体和第二前景物体的区域从第一拍摄图像或者第二拍摄图像中除去而获得的接缝候选区域；接缝确定单元，该接缝确定单元确定穿过接缝候选区域的上边缘和下边缘并且分割接缝候选区域的接缝；以及合成单元，该合成单元在接缝处将第一拍摄图像与第二拍摄图像合成以生成输出图像。

接缝候选区域确定单元可以包括：前景区域确定单元，该前景区域确定单元检测第一拍摄图像或者第二拍摄图像中的第一前景物体或者第二前景物体的区域作为前景区域；前景差异计算器，该前景差异计算器计算第一拍摄图像或者第二拍摄图像之一的图像中的前景区域与另一图像中的对应于前景区域的区域之间的差异；阈值确定单元，该阈值确定单元基于由前景差异计算器计算的差异来确定阈值；背景差异计算器，该背景差异计算器计算在排除了前景区域的区域中第一拍摄图像与第二拍摄图像之间的差异；以及阈值处理器，该阈值处理器基于由背景差异计算器计算的差异和阈值来确定接缝候选区域。

阈值处理器可以将下述区域设置为接缝候补区域，该区域是通过将差异等于或者大于阈值的区域从其差异已经由背景差异计算器计算出的区域中减除而获得的区域。

接缝候选区域确定单元可以还包括中心贯通区域确定单元，该中心贯通区域确定单元将第一拍摄图像或者第二拍摄图像中与接缝候选区域不同的并且位于第一前景物体和第二前景物体之间的区域确定为中心贯通区域。在没有获得只穿过接缝候选区域的接缝的情况下，接缝确定单元可以在允许接缝穿过中心贯通区域的条件下确定接缝。

接缝确定单元可以对第一拍摄图像或者第二拍摄图像中与接缝候选区域和中心贯通区域不同的区域进行区域侵蚀处理，并且在没有获得只穿过接缝候选区域的接缝的情况下，接缝确定单元可以在允许接缝穿过由区域侵蚀处理所侵蚀的区域的条件下确定接缝。