[发明专利]合成装置及合成方法

说明书

技术领域

本发明涉及将构成数字流的影像与用计算机图形描绘的影像合成的合成装置。

背景技术

通过存储媒体的大容量化、图像处理的高速化等，即使是民用设备也能够高速地描绘CG(Computer Graphics：计算机图形)。这样的CG在电影等影像作品及游戏中被广泛使用，提供有将CG合成到实拍影像中的作品等。

作为将CG合成到实拍影像中的技术，有如下技术：通过使进行CG的描绘的虚拟空间上的光源的位置与将拍摄实拍影像时的现实空间中的光源的位置等价，生成真实感较高的合成影像。

在专利文献1中，公开了如下图像现实装置：通过组合表示现实空间的光源的配置的数据来描绘CG，在实拍影像与CG中使阴影的附带方式一致，而将真实感较高的CG合成到实拍影像中。

专利文献1：日本特开2005-107968号公报

但是，在实拍影像中也有许多一边移动摄像机一边摄影的场景。为了对这样的实拍影像合成CG以使得没有别扭感，需要预先装入程序、以使得CG在画面上的描绘位置也匹配于移动摄像机带来的实拍影像中的被摄体的相对于画面的运动而运动。否则，会如尽管对应于摄像机的运动而实拍影像中的被摄体相对于画面运动，CG却还留在画面上的特定的位置这样，在实拍影像与CG中在运动中发生偏差、感到观感上的别扭感。

但是，为了使CG匹配于实拍影像来运动，而精确地调节CG的显示定时和显示位置、并装入程序是困难的。

发明内容

本发明的目的是提供一种合成装置，对于一边使摄像机移动一边摄影的实拍影像，以尽量缓和观感上的别扭感的方式生成CG，而生成真实感较高的合成影像。

为了解决上述问题，本发明的合成装置的特征在于，具备：取得部，从由多个视频帧构成的数字流中取得表示各视频帧的视频帧识别码，该视频帧识别码与表示对上述视频帧进行摄影的摄影状况的参数建立了对应；生成部，基于上述参数生成图形，以将摄影状况反映到显示形态中；合成部，对于基于上述数字流的各视频帧，将基于与表示该视频帧的视频帧识别码建立了对应的参数而生成的图形依次合成。

根据本发明的合成装置，由于按照视频帧，将表示该视频帧被摄影的状况的参数建立对应，所以在生成应与视频帧合成的CG时，通过基于该参数将摄影状况反映到显示形态中，能够合成真实感较高的影像。

这里，所谓摄影状况，是在摄影实拍影像时，摄像机被放置在哪里、朝向哪个方向等摄像机配置、以及照明被设置在哪里这样的光源配置。

这里，也可以是，上述参数包括摄像机配置信息，该摄像机配置信息表示对由与该参数建立了对应的视频帧识别码表示的视频帧进行摄影的摄像机的配置。

通过作为表示应与视频帧合成的CG的生成所需要的摄影状况的参数而包括摄像机的配置，能够使CG的运动精确地匹配于因摄像机的配置变化而在画面上运动的实拍影像，所以能够合成真实感较高的影像。

这里，也可以是，上述摄像机配置信息包括表示上述摄像机的摄影位置的摄影位置信息；由上述生成部进行的上述图形的生成，通过生成当从由上述摄影位置信息表示的位置对在虚拟空间上形成的对象物进行摄影时应得到的图像来进行。

对于视频帧识别码，将表示摄影了该视频帧的摄像机的摄影位置的摄影位置信息建立了对应，在生成应与该视频帧合成的CG时，通过使虚拟空间上的摄像机的位置与由摄影位置信息表示的位置一致，能够使实拍影像与CG的视点一致，所以能够合成真实感较高的影像。

摄像机的摄影位置是表示摄像机的配置的最重要的要素。

这里，也可以是，上述数字流包括时间信息，该时间信息表示应将由上述多个视频帧识别码表示的视频帧分别显示的定时；上述多个视频帧识别码与上述摄像机配置信息的对应建立，通过将上述摄像机配置信息附加到上述时间信息中来进行；上述合成装置具备将上述数字流解码的解码部；上述解码部从上述数字流中依次取得上述视频帧识别码及上述时间信息；在由该时间信息表示的定时，对由该视频帧识别码表示的视频帧进行解码；每当解码时，将上述摄像机配置信息发送给上述生成部。

通过将为了生成应与视频帧合成的CG而需要的摄像机配置信息匹配于显示视频帧的定时发送给生成部，能够使视频帧与CG同步。

这里，也可以是，上述数字流还包括表示没有与上述摄像机配置信息建立对应的视频帧的视频帧识别码；上述解码部在从上述数字流取得的上述时间信息中附加了摄像机配置信息的情况下，将该摄像机配置信息发送给生成部；在上述时间信息中没有附加摄像机配置信息的情况下，将之前刚发送给上述生成部的摄像机配置信息再次发送给上述生成部。