[发明专利]用于从点云中动态选择特征相关点的深度神经网络的方法和系统

说明书

描述了用于从点云中动态选择特征相关点的深度神经网络的方法和系统。接收布置在点‑特征矩阵中的多个多维特征向量。所述点‑特征矩阵的每一行对应于一个相应多维特征向量，所述点‑特征矩阵的每一列对应于相应的特征。每个多维特征向量代表点云中的相应无序数据点，每个多维特征向量包括相应的多个特征相关值，每个特征相关值代表相应的特征的相关程度。生成具有选定的多个特征相关向量的最大缩减矩阵。对于每个相应的特征，在所述点‑特征矩阵中识别具有与相应的特征相关联的最大特征相关值的相应多维特征向量，从而来选择特征相关向量。将所述最大缩减矩阵输出给至少一个神经网络层。

技术领域

本申请涉及一种深度神经网络，其包括用于从点云中动态选择特征相关点的至少一个层。

背景技术

深度学习是一种很有希望解决各个领域(例如，计算机视觉、语音识别等)挑战的方法，是一种基于学习人工智能(artificial intelligence，简称AI)系统中数据表示的机器学习方法。

深度学习有利于为对象分类任务提供有序数据的判别信息，例如具有有序像素的二维(two dimensional，简称2D)图像。

三维(three dimensional，简称3D)传感器(例如，红绿蓝深度(red green blue-depth，简称RGB-D)相机、LIDAR传感器等)可以捕获周围环境有关3D信息，并在空间中生成数据点集合以表示捕获的3D信息。三维空间中的数据点集合在本领域中通常被称为点云，并且作为3D数据由3D传感器提供。

然而，3D数据通常是以具有不均匀采样密度的无序点的形式呈现。因此，点云是三维空间中具有不规则形式的一个数据点集合，并且3D数据的处理通常会遇到不规则采样的问题，例如较高的运算成本和对象分类的不准确。

因此，期望提供一种通过有效的点特征提取和高准确度的分类将深度学习应用于无序点的解决方案，以实现对点云数据的最先进的性能。

发明内容

本申请提供了通过在深度神经网络中包括至少一个关键点层(critical pointlayer，简称CPL)来动态选择关键点的方法和系统。所选择的关键点可以用于至少一个全连接层(fully-connected layer，简称FCL)中用于分类，其中，根据不同的场景结合物体的边界和/或位置，识别每个所选择的关键点并进行分类。在一些示例中，使用加权CPL(weighted CPL，简称WCPL)，对关键点的选择考虑了不同的各个关键点的加权或贡献。在一些示例中，本申请的方法和系统可以用在各种不同的应用中，例如自动运载工具的控制或任何其他基于学习的处理系统。深度神经网络的这种配置可有助于提高分类准确性，并且可以帮助降低复杂度成本，以完成不同应用中的后续对象分类任务。

在一些示例方面，本申请描述了一种方法，包括：接收布置在点-特征矩阵中的多个多维特征向量，其中，所述点-特征矩阵中每一行对应于一个相应多维特征向量，所述点-特征矩阵中每一列对应于相应的特征，每个多维特征向量代表点云中的相应无序数据点，每个多维特征向量包括相应的多个特征相关值，每个特征相关值代表相应的特征的相关程度；生成具有选定的多个特征相关向量的最大缩减矩阵，其中，所述最大缩减矩阵中每一行对应于一个相应的特征相关向量，所述最大缩减矩阵中每一列对应于相应的特征，对于每个相应的特征，在所述点-特征矩阵中识别具有与相应的特征相关联的最大特征相关值的相应多维特征向量，从而来选择特征相关向量；输出所述最大缩减矩阵，以供深度神经网络的最终卷积层处理。

根据上述任意一个方面/实施例，所述生成可包括：生成包含多个识别的多维特征向量的多个行索引的索引向量；对索引向量中的行索引进行采样一直达到所需数目，从而生成采样索引向量；使用所述采样索引向量中包含的行索引生成所述最大缩减矩阵。

根据上述任意一个方面/实施例，所述采样是确定性的，所述方法还可包括：在所述采样之前，以升序对所述索引向量中包含的行索引进行排序。