[发明专利]图像处理装置、图像处理方法及图像处理程序

说明书

图像处理装置(10)具有：立体物提取部(1)，其是图像分割部，将多个摄像图像分别分割为实际存在的立体物即实际存在对象所占据的前景图像部分和该前景图像部分以外的背景图像部分；背景补全部(2)，其通过将参照图像部分粘贴于前景图像部分的区域来补全背景图像部分；背景图像合成部(3)，其进行变更多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的背景图像部分进行合成，由此生成背景俯瞰合成图像；立体物识别部(4)，其取得实际存在对象的姿势信息；立体物投射部(5)，其使用姿势信息，取得与实际存在对象对应的三维虚拟对象；三维空间重叠部(6)，其在背景俯瞰合成图像上重叠三维虚拟对象而生成三维空间图像；以及显示图像输出部(7)，其生成并输出从上方观察三维空间图像得到的图像即俯瞰合成图像。

技术领域

本发明涉及根据多个摄像图像生成俯瞰合成图像的图像处理装置、以及用于根据多个摄像图像生成俯瞰合成图像的图像处理方法及图像处理程序。

背景技术

存在如下技术：对由多个照相机得到的多个摄像图像进行视点转换而生成多个俯瞰图像，将多个俯瞰图像合成，生成俯瞰合成图像。专利文献1记载了如下技术：选择基于区分2个摄像图像的共同的摄像区域的边界位置与共同的摄像区域内的立体物的位置而进行了视点转换的2个俯瞰图像中的、立体物的图像的畸变小的俯瞰图像，使用选择出的俯瞰图像来生成俯瞰合成图像。

现有技术文献

专利文献

专利文献1：日本特许第6239205号公报(例如权利要求1，图3)

发明内容

发明要解决的问题

在上述现有技术中，虽然使用立体物的图像的畸变小的俯瞰图像来生成俯瞰合成图像，但在立体物中存在畸变，有时给观察者带来不适感。

本发明是为了解决上述问题而完成的，其目的在于，提供一种能够生成难以给观察者带来不适感的俯瞰合成图像的图像处理装置、以及用于生成难以给观察者带来不适感的俯瞰合成图像的图像处理方法及图像处理程序。

用于解决问题的手段

本发明的一方案的图像处理装置的特征在于，所述图像处理装置具有：图像分割部，将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；背景补全部，其通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；背景图像合成部，其进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；立体物识别部，其识别所述实际存在对象，取得所述实际存在对象的姿势信息；立体物投射部，其使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；三维空间重叠部，其将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及显示图像输出部，其生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。

本发明的另一方案的图像处理方法的特征在于，所述图像处理方法具有如下步骤：将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；识别所述实际存在对象，取得所述实际存在对象的姿势信息；使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。

发明的效果