[发明专利]周边影像生成装置、周边影像生成方法以及程序

说明书

本发明提供周边影像生成装置、周边影像生成方法以及程序。周边影像生成装置(1)具备：影像输入部(10)，输入由多个照相机(20)拍摄到的周边影像数据；影像合成部(12)，合成周边影像数据生成从规定的视点观察到的合成影像；立体形状估计部(13)，基于周边影像数据估计位于周边的物体的立体形状；遮挡区域估计部(14)，使用立体形状的估计结果，估计合成影像中从规定的视点观察不到的遮挡区域；推断部(15)，使用深度学习推断遮挡区域的影像；以及影像重叠部(16)，将由推断部(15)推断出的影像与合成影像的遮挡区域重叠。

相关申请的交叉引用

本申请主张于2019年8月9日申请的专利申请编号2019－147985的优先权，并通过参照在此引用其全部内容。

技术领域

本公开涉及周边影像生成装置、周边影像生成方法、以及程序。

背景技术

以往，为了正确地识别车辆周边的状况，已知有将搭载于车辆的照相机拍摄到的影像提供给驾驶员的装置。例如，专利文献1公开了将设置于车辆的前方、后方、左侧以及右侧的照相机拍摄到的影像修正为顶视图形式，并提供给驾驶员的周边影像生成装置的发明。

专利文献1：日本特表2012－514558号公报

在上述那样的顶视图影像中，若想要合成数m以上的区域，则有被位于周边的物体遮挡的区域成为陡立的影像，越接近画面端越难以直观地把握这样的状况。

发明内容

本公开鉴于上述背景，目的在于提供不管物体的存在，而能够生成没有不协调感的周边影像的周边影像生成装置等。

本公开为了解决上述课题采用以下的技术手段。在权利要求书所记载的括号内的附图标记是表示与作为一个方式后述的实施方式所记载的具体单元的对应关系的一个例子，并不对本公开的技术范围进行限定。

本公开所涉及的周边影像生成装置具备：影像输入部，输入由多个照相机拍摄到的周边影像数据；影像合成部，合成上述周边影像数据生成从规定的视点观察到的合成影像；立体形状估计部，基于上述周边影像数据估计位于周边的物体的立体形状；遮挡区域估计部，使用上述立体形状的估计结果，估计上述合成影像中从上述规定的视点观察不到的遮挡区域；推断部，使用深度学习推断上述遮挡区域的影像；以及影像重叠部，将由上述推断部推断出的影像与上述合成影像的上述遮挡区域重叠。此外，立体形状估计部也可以基于由测距传感器检知到的检知数据，估计立体形状。

根据本公开，对于被位于周边的物体遮挡的区域也能够显示没有不协调感的影像。

附图说明

图1是表示第一实施方式的周边影像生成装置的构成的图。

图2是表示GAN的构成的图。

图3是表示第一实施方式的周边影像生成装置的动作的图。

图4是表示第二实施方式的周边影像生成装置的构成的图。

图5是表示第二实施方式的周边影像生成装置的动作的图。

图6是表示第三实施方式的周边影像生成装置的构成的图。

图7是表示第三实施方式的周边影像生成装置的动作的图。

具体实施方式

以下，参照附图对本公开的实施方式的周边影像生成装置进行说明。以下说明的实施方式的周边影像生成装置搭载于车辆，用于生成并显示车辆的周边的顶视图影像。在实施方式中，作为一个例子，对在停车场中生成周边影像的场景进行说明。此外，本公开的周边影像生成装置的用途并不限定于车辆，也可以在其它的用途中使用。

(第一实施方式)