[发明专利]使用卷积技术将自适应偏移项添加到局部自适应二值化表达式

说明书

一种装置，其包括接口、结构光投射器以及处理器。接口可以接收像素数据。结构光投射器可以生成结构光图案。所述处理器可以对布置为视频帧的所述像素数据进行处理，使用卷积神经网络执行操作以确定二值化结果和偏移值，以及响应于所述视频帧、所述结构光图案、所述二值化结果、所述偏移值和误差点的去除来生成视差图和深度图。所述卷积神经网络可以执行部分块求和以生成卷积结果，将所述卷积结果与散斑值进行比较以确定所述偏移值，响应于执行卷积操作来生成自适应结果，将所述视频帧与所述自适应结果进行比较以生成所述视频帧的所述二值化结果，并从所述二值化结果中去除所述误差点。

技术领域

概括地说，本发明涉及计算机视觉，并且更具体地说，本发明涉及一种使用卷积技术将自适应偏移项添加到局部自适应二值化表达式的方法和/或装置。

背景技术

机器视觉、光学技术和人工智能得到了快速发展。三维(3D)重建已经成为机器视觉的一个重要分支。传统的3D重构技术在实时应用方面存在问题。3D重构的速度不够快，并且3D重构的准确度不够准确。

一种3D重构的方法使用单目散斑结构光系统执行。使用单目散斑结构光进行3D重构的结果受多种因素的影响，所述因素例如散斑投射器功率、时间噪声、空间噪声、被检测对象的反射率等。由于3D重构的速度和准确度不足，应用一般仅限于不要求高准确度的场景，例如三维面部识别、面部实时检测等。

使用单目散斑结构光系统的3D重构技术的性能主要受限于后端计算方法的匹配速度和匹配准确度。针对由前端散斑结构光得到的单通道图像的预处理对于针对后端计算准确度和速度的研究并不完善。用于执行二值化操作的传统后端计算主要基于简单的全局二值化、局部二值化、局部自适应二值化等。然后使用其他方法来执行局部或全局二值化求和。

需要使用卷积技术来实现将自适应偏移项添加到局部自适应二值化表达式中。

发明内容

本发明涉及一种装置，该装置包括接口、结构光投射器以及处理器。接口可以接收像素数据。结构光投射器可以生成结构光图案。所述处理器可以对布置为视频帧的所述像素数据进行处理，使用卷积神经网络执行操作以确定二值化结果和偏移值，以及响应于所述视频帧、所述结构光图案、所述二值化结果、所述偏移值和误差点的去除来生成视差图和深度图。所述卷积神经网络可以对所述视频帧执行部分块求和以及求平均以生成卷积结果，将所述卷积结果与理想散斑值进行比较以确定所述偏移值，响应于执行卷积操作以向所述视频帧添加所述偏移值来生成自适应结果，将所述视频帧与所述自适应结果进行比较以生成针对所述视频帧的所述二值化结果，并从所述二值化结果中去除所述误差点。

附图说明

通过下面的详细描述以及所附的权利要求书和附图，本发明的实施例将变得显而易见。

图1是示出根据本发明的示例实施例的可以利用被配置为实现卷积神经网络的处理器的边缘设备的示例的图。

图2是示出实现本发明的示例实施例的示例摄像头的图。

图3是示出摄像头系统的框图的图。

图4是示出了实现被配置为执行3D重构的卷积神经网络的摄像头系统的处理电路的图。

图5是示出了使用由处理器实现的神经网络执行的部分块求和的视频帧的预处理的图。

图6是示出了由处理器实现的神经网络执行的确定偏移值的图。

图7是示出了通过由处理器实现的神经网络执行的将视频帧与偏移值进行组合来确定自适应偏移结果的图。

图8是示出了使用由处理器实现的神经网络执行的四重域方法去除的误差点的图。

图9是示出了示例散斑图像的图。

图10是示出了在没有添加自适应偏移值的情况下在二值化之后从散斑图像生成的视差图的图。