[发明专利]融合深度计算处理器及3D图像设备

说明书

本发明提供一种融合深度计算处理器及3D图像设备，融合深度计算处理器包括：TOF引擎，包括依次连接的：相位/振幅计算模块、标定模块以及第一后处理模块；匹配引擎，包括第一前处理模块，与第一前处理模块连接的第一校正模块；第二前处理器模块，与第二前处理器模块连接的第二校正模块；与第一校正模块和第二校正模块连接的匹配模块，以及与匹配模块连接的第二后处理模块；融合模块，与第一后处理模块和第二后处理模块连接；第一复用器，与第一后处理模块、第二后处理模块和融合模块连接。满足多种深度计算的功能需求，功耗低，速率快。

技术领域

本发明涉及计算机和微电子技术领域，尤其涉及一种融合深度计算处理器及3D图像设备。

背景技术

深度相机用来获取物体的三维深度信息，利用深度信息则可以进行三维建模、识别、人机交互等应用，进一步被用来进行3D打印、人脸识别支付、SLAM(SimultaneousLocalization and Mapping即时定位与地图构建)、体感操控等。在已有的深度相机方案中，基于结构光技术、TOF(Time of Flight,时间飞行)技术以及双目视觉技术的深度相机被普通采用。其中结构光技术拥有高分辨率、近距离高精度的优点，TOF技术则拥有高精度、无基线要求等优点，双目视觉技术拥有大测量范围的优点。在一些实际复杂场景的应用中，单一深度相机往往无法满足要求，比如对于室外机器人而言，近距离避障、识别往往需要结构光深度相机，而SLAM、导航则往往需要TOF深度相机或者双目深度相机等。

因此，多种类深度相机的融合可以实现许多复杂场景应用对3D感知的要求，然而目前的深度相机融合是将多种深度相机与一个主处理器连接，通过主处理器的控制与数据通信来实现多深度相机的数据采集与处理。然而这种方式并未真正意见上实现了多种技术的融合，仅是硬件上的拼凑，性能并未因为融合得到提升，相反融合系统的功耗反而增加。

发明内容

本发明为了解决现有的问题，提供一种融合深度计算处理器及3D图像设备。

为了解决上述问题，本发明采用的技术方案如下所述：

本发明提供一种融合深度计算处理器，包括：TOF引擎，用于执行TOF深度计算，包括依次连接的：相位/振幅计算模块、标定模块以及第一后处理模块；匹配引擎，用于执行结构光和/或双目视觉深度计算，包括第一前处理模块，与所述第一前处理模块连接的第一校正模块；第二前处理器模块，与所述第二前处理器模块连接的第二校正模块；与所述第一校正模块和所述第二校正模块连接的匹配模块，以及与所述匹配模块连接的第二后处理模块；融合模块，用于融合TOF深度图像以及结构光深度图像或双目视觉深度图像，与所述第一后处理模块和所述第二后处理模块连接；第一复用器，用于输出深度图像，与所述第一后处理模块、所述第二后处理模块和所述融合模块连接。

在本发明的第一种实施例中，所述TOF引擎执行所述TOF深度计算包括：接收来自TOF图像传感器的电信号；所述相位/振幅计算模块对所述电信号的相位计算以获取相位值和/或深度值以及振幅计算以获取振幅值；所述标定模块通过预标定参数标定所述相位值和/或所述深度值；所述第一后处理模块对所述标定后的所述相位值和/或所述深度值优化；所述第一复用器输出所述优化后的所述相位值和/或所述深度值。

在本发明的第二种实施例中，所述匹配引擎执行结构光深度计算包括：接收来自结构光图像传感器的电信号；所述第一前处理模块对所述电信号进行去燥、对比度增强得到第一图像；所述第一校正模块对所述第一图像进行畸变校正处理得到第二图像；所述匹配模块通过预先存储的参考图像对所述第二图像进行匹配计算得到偏离值或深度值；所述第二后处理模块对所述偏离值或所述深度值优化；所述第一复用器输出所述优化后的所述偏离值或所述深度值。