[发明专利]位姿确定方法、托盘装载方法、装置、介质及电子设备

权利要求书

1.一种位姿确定方法，其特征在于，包括：

通过图像采集设备获取包含目标对象的图像；

基于所述图像确定所述目标对象的多个特征点，并获取各个所述特征点在所述图像中的像素坐标；

将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息；

根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息；

其中，所述根据所述深度信息和所述旋转角度信息确定所述目标对象相对于所述图像采集设备的位姿信息包括：

根据所述深度信息得到各所述特征点在三维空间坐标下的三维坐标；

拟合各特征点在所述三维空间坐标下的平面方程，以得到目标中心点坐标；

根据所述目标中心点坐标和所述旋转角度信息得到所述目标对象相对于所述图像采集设备的位姿信息；

其中，所述将所述像素坐标输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息包括：

获取所述图像采集设备的参数信息，并基于所述参数信息确定内参矩阵；

通过所述内参矩阵将所述像素坐标转换为单位深度平面处的三维坐标；

根据所述特征点的所述三维坐标生成一维向量；

将所述一维向量输入预先训练的神经网络以得到各个所述特征点的深度信息以及所述目标对象的旋转角度信息。

2.根据权利要求1所述的位姿确定方法，其特征在于，所述根据所述特征点的所述三维坐标生成一维向量包括：

将各个所述特征点的三维坐标按照预设顺序排列以生成一维向量。

3.根据权利要求1所述的位姿确定方法，其特征在于，所述图像采集设备的参数信息包括第一轴向的归一化焦距、第二轴向的归一化焦距以及光心坐标。

4.根据权利要求1所述的位姿确定方法，其特征在于，所述旋转角度信息为罗德里格斯旋转向量。

5.根据权利要求1-4中任意一项所述的位姿确定方法，其特征在于，所述预先训练的神经网络为包括多个全连接层和多个激活层的带有残差连接的多层感知器。

6.根据权利要求5所述的位姿确定方法，其特征在于，所述激活层使用线性整流函数作为激活函数。

7.根据权利要求6所述的位姿确定方法，其特征在于，所述预先训练的神经网络通过如下步骤训练得到：

确定多个样本对象，并获取各个所述样本对象上多个样本特征点在一预设坐标系下的三维坐标；

基于所述三维坐标，通过模拟各个所述样本对象的旋转和平移生成与样本位姿信息相关联的各个所述样本特征点的样本像素坐标；

利用所述样本位姿信息和所述样本像素坐标对初始神经网络进行训练以得到所述预先训练的神经网络。

8.根据权利要求7所述的位姿确定方法，其特征在于，用于训练所述初始神经网络的样本像素坐标是带有高斯噪声的像素坐标。

9.根据权利要求7所述的位姿确定方法，其特征在于，用于训练所述神经网络的损失函数是带有权重衰减的损失函数。

10.一种托盘装载方法，应用于具有图像采集设备的托盘装载机构，其特征在于，所述方法包括以下步骤：

将待装载的托盘作为目标对象，利用如权利要求1-9中任意一项所述的位姿确定方法确定所述托盘相对于所述托盘装载机构的位姿信息；

基于所述位姿信息调整所述托盘装载机构相对于所述托盘的位置姿态，并通过所述托盘装载机构装载所述托盘。