[发明专利]纵深取得装置、纵深取得方法以及程序

权利要求书

1.一种纵深取得装置，具备存储器和处理器，

所述处理器，

取得表示光源对被摄体照射红外光的定时的定时信息，

取得红外图像，所述红外图像通过与由所述定时信息表示的所述定时相应且包含所述被摄体的场景的基于红外光的摄像而得到，并被保持于所述存储器，

取得可见光图像，所述可见光图像通过与所述红外图像实质相同的场景的基于可见光的摄像且与所述红外图像实质相同的视点以及摄像时刻的摄像而得到，并被保持于所述存储器，

从所述红外图像检测炫光区域，

基于所述红外图像、所述可见光图像以及所述炫光区域来估计所述炫光区域的纵深。

2.根据权利要求1所述的纵深取得装置，其中，

所述处理器，

在所述炫光区域的纵深的估计中，

估计表示所述红外图像内的各位置处的纵深的第1纵深信息，

通过基于所述可见光图像补正由所述第1纵深信息表示的所述炫光区域内的各位置处的纵深，来估计表示所述炫光区域内的各位置处的补正后的纵深的第2纵深信息，

进一步地，生成第3纵深信息，该第3纵深信息表示由所述第1纵深信息表示的所述红外图像的所述炫光区域外的各位置处的纵深和由所述第2纵深信息表示的所述红外图像的所述炫光区域内的各位置处的纵深。

3.根据权利要求1或2所述的纵深取得装置，其中，

所述处理器，在所述炫光区域的检测中，

将所述红外图像当中有第1阈值以上的亮度的区域检测为所述炫光区域。

4.根据权利要求1或2所述的纵深取得装置，其中，

所述处理器，在所述炫光区域的检测中，

将所述红外图像当中具有第1阈值以上的亮度且满足预先规定的条件的区域检测为所述炫光区域，

所述预先规定的条件是所述红外图像的区域内的图像特征量、和与所述区域对应的所述可见光图像的区域内的图像特征量之间的相关值小于第2阈值的条件。

5.根据权利要求4所述的纵深取得装置，其中，

所述红外图像以及所述可见光图像各自的区域内的图像特征量是所述区域内的图像中所含的边缘。

6.根据权利要求4所述的纵深取得装置，其中，

所述红外图像以及所述可见光图像各自的区域内的图像特征量是所述区域内的亮度。

7.根据权利要求1或2所述的纵深取得装置，其中，

所述处理器，在所述炫光区域的检测中，

对所述红外图像当中具有第1阈值以上的亮度的至少1个高亮度区域分别：

(i)通过对该高亮度区域内的图像进行CENSUS变换来取得第1变换图像，

(ii)通过对与该高亮度区域对应的所述可见光图像的区域内的图像进行CENSUS变换来取得第2变换图像，

将至少1个所述高亮度区域当中所述第1变换图像与所述第2变换图像之间的汉明距离超过第3阈值的高亮度区域检测为所述炫光区域。

8.根据权利要求1所述的纵深取得装置，其中，

所述处理器，

在所述炫光区域的纵深的估计中，

估计表示所述红外图像内的各位置处的纵深的纵深信息，

通过将所述红外图像、所述可见光图像、所述炫光区域以及所述纵深信息输入到学习模型来补正由所述纵深信息表示的所述炫光区域内的各位置处的纵深。