[发明专利]使用卷积技术将自适应偏移项添加到局部自适应二值化表达式

权利要求书

1.一种装置，其包括：

接口，其被配置为接收像素数据；

结构光投射器，其被配置为：生成结构光图案；以及

处理器，其被配置为：(i)对被布置为视频帧的所述像素数据进行处理，(ii)使用卷积神经网络执行操作以确定二值化结果和偏移值，以及(iii)响应于(a)所述视频帧，(b)所述结构光图案，(c)所述二值化结果，(d)所述偏移值以及(e)误差点的去除来生成视差图和深度图，其中，所述卷积神经网络：

(A)对所述视频帧执行部分块求和以及求平均以生成卷积结果，

(B)将所述卷积结果与理想散斑值进行比较以确定所述偏移值，

(C)响应于执行卷积操作以将所述偏移值添加到所述视频帧，来生成自适应结果，

(D)将所述视频帧与所述自适应结果进行比较以生成针对所述视频帧的二值化结果，以及

(E)从所述二值化结果中去除所述误差点。

2.根据权利要求1所述的装置，其中，所述误差点是使用四重域方法去除的。

3.根据权利要求2所述的装置，其中，所述误差点包括以下项中的至少一项：孤立点、连接点和毛刺点。

4.根据权利要求3所述的装置，其中，所述四重域方法被配置为去除(i)具有值0的孤立点，(ii)具有值1的毛刺点以及(iii)具有值2的连接点。

5.根据权利要求1所述的装置，其中，所述偏移值被配置为(i)将所述结构光图案与背景图像分离并且(ii)减少所述误差点的数量。

6.根据权利要求1所述的装置，其中，所述卷积神经网络被配置为在生成所述二值化结果后去除所述误差点，以便降低即将进行的操作中错误匹配的概率。

7.根据权利要求1所述的装置，其中，所述卷积神经网络被配置为生成所述二值化结果，以使得能够使用卷积操作来执行面积求和以及添加偏移操作。

8.根据权利要求1所述的装置，其中，所述部分块求和是以9×9的块大小实现的，以使得9×9卷积能够代替求平均操作。

9.根据权利要求8所述的装置，其中，所述9×9卷积中的每个值为值81，并且所述9×9卷积的步长大小为1。

10.根据权利要求1所述的装置，其中，所述理想散斑值是响应于捕获在所述结构光投射器的最大理想距离处将所述结构光图案投影到白墙上的视频数据而确定的。

11.根据权利要求1所述的装置，其中，所述部分块求和以及确定所述偏移值是在所述装置的离线训练期间执行的。

12.根据权利要求1所述的装置，其中，所述部分块求和以及确定所述偏移值是在所述装置的实时操作中执行的。

13.根据权利要求1所述的装置，其中，所述偏移值是响应于以下各项来确定的：(i)计算在所述视频帧中捕获的结构光图案的每个相对应值与所述理想散斑值的差异，(ii)使用直方图来确定在所述视频帧中捕获的结构光图案的相对应值与所述理想散斑值之间的差异结果以及(iii)使用所述直方图中最多计数的点的差异作为所述偏移值。

14.根据权利要求1所述的装置，其中，所述视频帧包括具有所述结构光图案的场景的图像。

15.根据权利要求1所述的装置，其中，(i)所述卷积神经网络被配置为生成所述二值化结果，其中，针对源图像和参考图像去除了所述误差点，(ii)所述处理器还被配置为响应于XOR操作，生成所述二值化结果与针对所述源图像和所述参考图像去除了所述误差点的组合。

16.根据权利要求1所述的装置，其中，所述视频帧包括由单目摄像头捕获的单通道图像。