[发明专利]基于深度学习的物体位姿估计方法及电子设备

说明书

提供了一种基于深度学习的物体位姿估计方法及电子设备，其中，物体位姿估计方法包括：分别从与事件流对应的图像帧序列和与图像帧序列对应的位姿序列，提取特征向量序列和位姿向量序列；基于特征向量序列和位姿向量序列，训练用于位姿估计的神经网络模型；利用训练的神经网络模型进行物体位姿估计。根据本公开，可基于与事件流对应的图像帧序列和与图像帧序列对应的位姿序列进行物体位姿估计，可提高效率。

技术领域

本公开总体说来涉及计算机视觉领域，更具体地讲，涉及一种基于深度学习的物体位姿估计方法及电子设备。

背景技术

三维目标跟踪和六自由度姿态(也称为六自由度位姿)估计在人工智能和机器人技术中发挥着重要作用。考虑到三维空间中运动物体的连续运动轨迹，我们希望通过视觉观察来估计运动物体在任意时刻的姿态(位置和角度)。为了便于跟踪以及避免背景干扰，我们在物体表面安装了一组发光二极管(路标点)，使它们在高频(如1KHz)下闪烁，以区别于环境噪声。相较于传统的摄像机传感器(如互补金属氧化物半导体(CMOS))无法捕捉此类高频闪烁，我们利用动态视觉传感器(DVS)的极高的时间分辨率来检测闪烁的LED。

从视觉信号中恢复六自由度姿态可以被视为经典的立体视觉问题。然而，这是一个相当复杂的过程，包括特征匹配、跟踪、几何转换和全局优化；此外，我们还需要精确了解三维(3D)物体模型和相机校准参数。过程中的各个步骤中都会引入噪声，任何步骤中的不准确(包括三维物体模型和相机参数的不准确)都会导致最终姿态估计的重大误差。

此外，也有方法利用卷积神经网络(CNN)从单帧图像提取的深度特征(可通过针对单帧图像应用预先训练的CNN来获取)，然而，通过DVS相机获取的基于路标点的图像包含信息量少(例如，具有的纹理或边缘少，甚至不包括边缘或纹理)，这样的图像的大部分内容为黑色背景，可称之为极度稀疏图像。利用CNN提取这样的极度稀疏图像的特征是困难的，甚至是不可行的，导致难以基于极度稀疏图像进行深度学习，进而无法进行物体跟踪和位姿估计。

发明内容

本公开的示例性实施例在于提供一种基于深度学习的物体位姿估计方法及电子设备，以针对极度稀疏图像进行物体位姿估计。

根据本公开的示例性实施例，提供了一种基于深度学习的物体位姿估计方法，包括：分别从与事件流对应的图像帧序列和与图像帧序列对应的位姿序列，提取特征向量序列和位姿向量序列；基于特征向量序列和位姿向量序列，训练用于位姿估计的神经网络模型；利用训练的神经网络模型进行物体位姿估计。该物体位姿估计方法可针对包括极度稀疏图像的图像帧序列进行物体位姿估计，位姿估计对象可以是手柄控制器等具有路标点的物体而非拍摄该物体的相机本身，并且与传统的需要利用三维物体模型和相机参数并且需要进行目标特征和路标点的匹配的方法相比，具有简化操作、提高效率、以及估计结果准确的优点。

可选的，提取特征向量序列的步骤包括：通过奇异值分解将图像帧序列中的每个图像帧的图像矩阵分解为第一正交矩阵、第二正交矩阵和对角矩阵；基于针对每个图像帧的第一正交矩阵的至少一部分列向量、第二正交矩阵的至少一部分列向量、以及所述对角矩阵的至少一部分奇异值，产生针对所述每个图像帧的特征向量，以形成包括产生的各个特征向量的特征向量序列。这种在奇异值分解结果的基础上选择部分向量形成特征向量的方式可减少向量维数，并且通过部分向量而非全部向量可有效反映图像特征，从而可提高利用形成的特征向量来训练模型等步骤的执行效率。

可选的，所述对角矩阵的奇异值按照从大到小的顺序的前N个奇异值为所述对角矩阵的所述至少一部分奇异值，第一正交矩阵的所述至少一部分列向量为与所述N个奇异值对应的N个列向量，第二正交矩阵的所述至少一部分列向量为与所述N个奇异值对应的N个列向量，其中，N为自然数。优选的，N为25或更大。奇异值按照从大到小的顺序后，基于前N个奇异值和对应的列向量产生的特征向量既可有效表示特征也可减少维数以提高计算效率。