[发明专利]一种物体检测方法及装置

说明书

本申请实施例公开了一种物体检测方法及装置，其中方法包括：获取待检测物体的特征信息，所述特征信息包括RGB图像、深度图像和三维点云信息；根据所述深度图像和所述三维点云信息确定所述待检测物体的形状特征矩阵；根据所述RGB图像和所述形状特征矩阵确定所述待检测物体的类别。采用本申请实施例，可以有效提高物体检测的准确率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种物体检测方法及装置。

背景技术

物体检测一直都是计算机视觉研究的热点问题，检测到物体后能方便对物体进行存储、分析、3D建模、识别、跟踪和搜索等。早期针对物体检测的研究借助于人工特征，例如尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)和加速稳健特征(SpeededUpRobustFeatures，SURF)等。现有算法需要提取红绿蓝(Red、Green、Blue，RGB)图像中的RGB特征信息，并对提取出的RGB特征信息进行匹配以达到物体检测的目的。但由于现有算法仅依靠RGB特征信息来进行物体检测，故当物体色彩或纹理相似时，现有算法易发生混淆，从而无法准确进行物体检测，如何提高物体检测的准确率是目前亟需解决的问题。

发明内容

本申请实施例所要解决的技术问题在于，提供一种物体检测方法及装置，可以有效提高物体检测的准确率。

第一方面，本申请实施例提供了一种物体检测方法，该方法包括：首先获取待检测物体的特征信息，其中，该特征信息包括RGB图像、深度图像和三维点云信息；然后根据该待检测物体的深度图像和三维点云信息确定该待检测物体的形状特征矩阵；最后根据该待检测物体的RGB图像和该待检测物体的形状特征矩阵确定待检测物体的类别。采用上述方式，可以结合物体的形状信息和颜色信息进行物体识别，从而可以有效提高物体检测的准确率。

本申请实施例中，该待检测物体的RGB图像和形状特征矩阵均为三通道矩阵，该待检测物体的RGB图像与深度图像在像素位置上对应，该RGB图像和该形状特征矩阵也对应；该形状特征矩阵包括几何形状信息，该RGB图像包括色彩和纹理信息；其中，该几何形状信息包括法向量、投影法向量、曲率方向、投影曲率方向和曲率值中的一种或多种，该色彩和纹理信息例如是灰度级强度和灰度级梯度变化。

在一种可能的实施例中，根据待检测物体的RGB图像和形状特征矩阵确定待检测物体的类别的具体方式为：将该待检测物体的RGB图像和形状特征矩阵输入到神经网络中进行处理，得到该待检测物体的类别。其中，该神经网络例如是卷积神经网络；利用神经网络对RGB图像和形状特征矩阵进行处理，可以有效提高数据的处理效率，并且可以依据监督学习，利用大量样本对神经网络进行训练，从而可以不断提高神经网络检测物体的准确率。

在一种可能的实施例中，该神经网络是预先训练得到的，首先获取训练物体的RGB图像和形状特征矩阵，并获取该训练物体当前的训练语料；然后将该训练物体的RGB图像和形状特征矩阵输入到初始神经网络中进行处理，得到该训练物体的训练描述信息；最后确定该训练物体当前的训练语料与该训练描述信息的相似度，若该训练物体当前的训练语料与该训练描述信息的相似度小于预设相似度阈值，则调整所述初始神经网络中的卷积参数，得到训练后的该神经网络。其中，该训练物体可以是与该待检测物体的类别相同的物体。

在一种可能的实施例中，将待检测物体的RGB图像和形状特征矩阵输入到神经网络中进行处理，得到待检测物体的类别的具体方式为：首先将该待检测物体的RGB图像输入到该神经网络包括的第一子神经网络中进行处理，得到该第一子神经网络的输出，同时将该待检测物体的形状特征矩阵输入到该神经网络包括的第二子神经网络中进行处理，得到该第二子神经网络的输出；然后将得到的该第一子神经网络的输出和该第二子神经网络的输出输入到该神经网络包括的全连接层中进行融合，得到该待检测物体的类别。