[发明专利]周边影像生成装置、周边影像生成方法以及程序

权利要求书

1.一种周边影像生成装置(1)，具备：

影像输入部(10)，输入由多个照相机(20)拍摄到的周边影像数据；

影像合成部(12)，合成上述周边影像数据生成从规定的视点观察到的合成影像；

立体形状估计部(13)，基于上述周边影像数据估计位于周边的物体的立体形状；

遮挡区域估计部(14)，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；

推断部(15)，使用深度学习推断上述遮挡区域的影像；以及

影像重叠部(16)，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。

2.一种周边影像生成装置，具备：

影像输入部，输入由多个照相机拍摄到的周边影像数据；

影像合成部，合成上述周边影像数据生成从规定的视点观察到的合成影像；

检知数据获取部(23)，获取由测距传感器(22)检知到的检知数据；

立体形状估计部，基于上述检知数据估计位于周边的物体的立体形状；

遮挡区域估计部，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；

推断部，使用深度学习推断上述遮挡区域的影像；以及

影像重叠部，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。

3.根据权利要求1或者2所述的周边影像生成装置，其中，

上述多个照相机搭载于车辆，

上述影像合成部合成从上述车辆的上方的顶视图影像。

4.根据权利要求1～3中任意一项所述的周边影像生成装置，其中，

上述影像重叠部以与上述合成影像不同的显示方式将由上述推断部估计出的影像与上述遮挡区域重叠。

5.一种周边影像生成装置，具备：

影像输入部，输入由搭载于车辆的多个照相机拍摄到的周边影像数据；

影像合成部，合成上述周边影像数据生成从上述车辆的上方的顶视图影像；

立体形状估计部，基于上述周边影像数据或者测距传感器的检知数据，估计位于周边的物体的立体形状；

遮挡区域估计部，使用上述立体形状的估计结果，估计上述顶视图影像中从上述车辆的上方观察不到的遮挡区域；

遮挡区域影像生成部，从存储了放置上述车辆的环境的图像的存储装置获取上述环境的图像，并基于上述环境的图像生成上述遮挡区域的影像；以及

影像重叠部，以与上述顶视图影像不同的显示方式将由上述遮挡区域影像生成部生成的影像与上述顶视图影像的上述遮挡区域重叠。

6.一种周边影像生成方法，是生成周边的影像的方法，具备：

输入由多个照相机拍摄到的周边影像数据的步骤；

合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；

基于上述周边影像数据估计位于周边的物体的立体形状的步骤；

使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；

使用深度学习推断上述遮挡区域的影像的步骤；以及

将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。

7.一种周边影像生成方法，是生成周边的影像的方法，具备：

输入由多个照相机拍摄到的周边影像数据的步骤；

合成上述周边影像数据生成从规定的视点观察到的合成影像的步骤；

获取由测距传感器检知到的检知数据的步骤；

基于上述检知数据估计位于周边的物体的立体形状的步骤；

使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域的步骤；

使用深度学习推断上述遮挡区域的影像的步骤；以及

将推断出的影像与上述合成影像的上述遮挡区域重叠的步骤。