[发明专利]基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端

说明书

本发明公开了一种基于RGB‑D融合信息的障碍物目标分类方法、系统和智能终端，方法包括：采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；根据所述目标视差图计算所述障碍物目标的深度信息；基于所述深度信息和目标RGB图通过RGB‑D通道信息融合得到所述障碍物目标的分类结果。这样，该方法解决了现有技术中，在逆光、暗光等特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端。

背景技术

随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。尤其是在辅助驾驶领域中，无人驾驶的障碍物感知方向时，需要识别不同障碍物的类别属性，为后期的功能策略提供基础数据依据。但是，目前的分类方法中，输入信息为灰度图像和RGB彩色图像，在遇到逆光、暗光等特殊环境下，导致障碍物识别的效果下降，影响障碍物识别准确性。

发明内容

为此，本发明实施例提供一种基于RGB-D融合信息的障碍物目标分类方法、系统和智能终端，以解决现有技术中，在特殊光线环境下，障碍物识别效果较差，识别准确性较低的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于RGB-D融合信息的障碍物目标分类方法，所述方法包括：

采集目标范围内的双目相机的原始图像，并得到原始图像的视差图；

采集目标范围内，所述双目相机中基准相机的彩色校准RGB图像；

基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，并获取所述障碍物目标的目标视差图和目标RGB图；

根据所述目标视差图计算所述障碍物目标的深度信息；

基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果。

进一步地，所述基于所述视差图和所述彩色校准RGB图像通过视差聚类获取障碍物目标，具体包括：

筛选所述视差图中的有效视差点；

计算各所述有效视差点的视差值；

根据所述视差值的聚集程度，获得障碍物目标框。

进一步地，所述基于所述深度信息和目标RGB图通过RGB-D通道信息融合得到所述障碍物目标的分类结果，具体包括：

获取目标框内障碍物的三维坐标信息，并得到所述障碍物相对于双目相机的相对深度值；

根据目标框内的视差图和相对深度值计算获得所述障碍物在世界坐标系的宽高值，以得到所述障碍物的真实宽度值和高度值；

将所述障碍物的真实宽度值和高度值与预存数据比对，以便在与所述预存数据匹配的备选类别中选择对应类别作为分类结果，并输出所述分类结果。

进一步地，所述备选类别的获取，具体包括：

基于所述障碍物的相对深度值得到所述障碍物的RGB-D数据；

将目标的RGB-D数据拼接为四个通道的张量，并将所述RGB-D图像的分辨率调整至与分类模型匹配的分辨率，以完成通道融合；

针对每个障碍物输出各类别的置信度，并将得到的多个置信度进行排序，选择置信度前两位的类别作为备选类别。