[发明专利]能够提供随后体验影像的影像提供装置、影像提供方法、影像提供程序

说明书

技术领域

本发明属于图像合成技术的技术领域。

背景技术

图像合成技术是指如下技术：对应该在背景图像的哪个位置合成前景图像进行解析，选择最佳位置，将前景图像合成到背景图像中。这里，在选择用户个人拍摄的照片作为前景图像、选择该拍摄地点的街景作为背景图像进行合成的情况下，能够向用户提供使用户随后体验该拍摄时的氛围的合成影像。

具体而言，目前，在因特网上运营街景检索服务这样的服务，在该服务中，在服务器内蓄积世界范围内收集的背景图像。如果下载该背景图像中的期望图像并与用户拍摄的人物进行合成，则能够以各种角度再现该拍摄当时的氛围。这样，将以街景检索服务为前提进行用户个人照片的拍摄时的随后体验的功能称为随后体验功能。

现有技术文献

专利文献

专利文献1：US6，711，293B1

发明内容

发明要解决的课题

作为随后体验功能的进一步的发展形式，存在要实现作为立体视照片的前景图像和作为立体视街景的背景图像的合成的动向。这里，关于立体视的实现，存在以下方法：使用深度图像生成右眼图像和左眼图像这2个视点图像；以及在拍摄时得到右眼图像和左眼图像这2个视点图像，它们在图像中表现的建筑物的进深不同。即，即使对地球上的同一场所进行拍摄，由于照相机所取的建筑物或人物的进深不同，所以，在对照片和街景进行合成时，人物和建筑物的进深感也不协调，得到不耐看的立体视图像。这里，考虑进行专利文献1所记载的特征点提取，在前景图像和背景图像中进行平面的定位，但是，在背景图像和照片中，深度图像完全不同，在街景的近前大幅突现照片、或者照片进入街景里侧的情况下，即使通过专利文献1的技术对平面的位置关系进行匹配，也无法消除由于上述不协调感而导致的视觉上的不匹配。

本发明的目的在于，提供如下的影像提供装置：即使在将在完全不同的条件下拍摄的前景图像合成到背景图像中的情况下，也能够生成没有不舒适感的立体视图像。

用于解决课题的手段

在背景图像为街景、前景图像为照片这样的假设下提示了技术课题，但是，该假设只不过是在说明上述技术课题时选择身边的题材，本申请中作为对象的技术课题不限于背景图像和前景图像为上述例子的情况。关于上述技术课题，在将对进深感稍微不同的两张图像进行合成的技术应用于工业产品时，本申请的技术领域的从业人员直面的视觉上的不匹配的消除全部是本申请的技术课题。

能够解决上述课题的影像提供装置将背景图像数据粘贴在三维建模空间中的立体模型的内侧表面后，对前景图像数据进行合成，其特征在于，该影像提供装置具有：提取单元，提取前景图像数据和背景图像数据的特征点；匹配单元，搜索前景图像数据的特征点和背景图像数据的特征点的对，通过利用这些对，得到用于将前景图像数据投影到背景图像数据的内部的变换矩阵；变换单元，针对与前景图像数据对应的深度前景数据，基于匹配单元得到的变换矩阵实施变换；基于深度的绘制单元，通过对前景图像数据实施基于变换后的深度前景数据的基于深度的绘制，得到与前景图像数据对应的2个以上的视点图像数据；以及合成单元，进行与前景图像数据对应的2个以上的视点图像数据和与背景图像数据对应的2个以上的视点图像数据的合成。

发明效果

得到用于将前景图像投影到背景图像的变换矩阵，根据该变换矩阵对前景图像的深度图像进行变换，所以，取得前景图像的深度图像所示的进深与背景图像的进深的匹配。如果根据这样进行变换后的前景图像的深度图像生成2个以上的视点图像，则不会产生从背景图像中异样突现、或前景图像异样远离背景图像这样的不自然的立体感。由此，能够生成发挥适当立体视效果的合成影像。

由于不会产生上述这种立体视再现时的不协调感，所以，能够展开随后体验提供这样的新的网络服务。并且，通过使电视机、记录器、摄像机、数字照相机这样的家电产品具有该功能，能够实现家电产品的高附加价值。

具有该课题解决手段的影像提供装置的发明记载于本申请的技术方案中的第一个技术方案即技术方案1中。这里，通过在该影像提供装置的发明中追加其他的发明特定事项，并且，将该系统的发明的发明特定事项从上位概念的事项置换为下位概念的事项，能够进一步使上述再现装置的发明发挥效果。这些发明特定事项的追加、发明特定事项的下位概念化的变化如下所述，这些变化在技术方案中进行区分而记载于技术方案2以下的从属技术方案中。