[发明专利]一种局部几何建模的点云数据解算方法

说明书

本发明涉及一种局部几何建模的点云数据解算方法，包括：由全局特征编码器对多尺度特征映射层输出的特征进行注意力操作得到全局特征；由方向解码器学习点云上的每个采样点的可抓取性以及方向向量，预测可抓取方向；以及由操作解码器预测可抓取方向上的平面旋转以及抓取深度、宽度。该方法能够充分挖掘点数数据的几何结构信息，输出一定范围内的最稳定的抓取，并且该方法的模型采用端到端的编码器解码器结构，可以并行输出预测的抓取参数。

技术领域

本发明涉及空间抓取技术领域，尤其涉及一种局部几何建模的点云数据解算方法。

背景技术

空间抓取是智能硬件感知方向中最核心、最基本的任务之一，是智能硬件如机械臂进行复杂运动的前提与基础。并且，空间抓取算法也是解放人类双手，从而实现工业信息化、产业智能化的重要方向之一，未来会计划应用于工业制造、物流分拣、太空无人操作等。空间抓取的主要任务是通过对物体的三维数据等进行解析，计算出多组包括抓取点坐标，抓取点姿态信息，抓取宽度的数据信息，利用这些信息，可以实现物体的稳定抓取。

从输入的三维数据格式来分，可以分为基于点云、基于体素的方法。

基于点云的空间抓取模型。针对点云数据无序性以及离散型，PointNet以及PointNet++等衍生网络是提取点云特征的主要方法，其特点是利用最大上采样操作来解决点云数据表示的无序性问题，同时利用集合聚合(Set Aggregation)操作处理多尺度信息，实现了点云数据的有效解析。然而由于抓取问题对物体的结构信息尤其是局部几何结构非常敏感与点云数据结构稀疏、离散之间的矛盾，现有的点云数据解析方法对抓取问题的应用表现效果不理想，没有充分挖掘点数数据的几何结构信息。而且现有的模型没有实现真正的端到端，姿态解析模型复杂冗余。

发明内容

本发明的任务是提供一种局部几何建模的点云数据解算方法，能够充分挖掘点数数据的几何结构信息，输出一定范围内的最稳定的抓取，并且该方法的模型采用端到端的编码器解码器结构，可以并行输出预测的抓取参数。

针对现有技术中存在的问题，本发明提供一种局部几何建模的点云数据解算方法，包括：

由全局特征编码器对多尺度特征映射层输出的特征进行注意力操作得到全局特征；

由方向解码器学习点云上的每个采样点的可抓取性以及方向向量，预测可抓取方向；以及

由操作解码器预测可抓取方向上的平面旋转以及抓取深度、宽度。

在本发明的一个实施例中，还包括：

从原始数据集中提取点云数据和标注信息；

对原始数据集进行预处理及数据增强得到建模数据集；

将建模数据集分为训练集和测试集；

以训练集作为输入，经过多尺度特征映射层处理后得到语义特征和几何特征。

在本发明的一个实施例中，注意力的计算公式如下：

其中Q,K,V分别为特征经过映射后的查询，待查询，值矩阵，d为特征维度，Softmax(.)为归一化指数函数。

在本发明的一个实施例中，由方向解码器预测可抓取方向包括：

在每个采样点上以球面的形式均匀采样300个方向；

方向解码器计算300个方向的方向置信度，并从300个方向中选取一个方向置信度最高的方向作为可抓取方向。

在本发明的一个实施例中，所述方向解码器或所述操作解码器首先将抓取查询特征进行自注意力计算，之后抓取查询特征与所述全局特征进行交叉注意力计算以学习局部的特征。