[发明专利]基于深度学习的物体位姿估计方法及电子设备

权利要求书

1.一种基于深度学习的物体位姿估计方法，包括：

分别从与事件流对应的图像帧序列和与图像帧序列对应的位姿序列，提取特征向量序列和位姿向量序列；

基于特征向量序列和位姿向量序列，训练用于位姿估计的神经网络模型；

利用训练的神经网络模型进行物体位姿估计。

2.根据权利要求1所述的物体位姿估计方法，其中，提取特征向量序列的步骤包括：

通过奇异值分解将图像帧序列中的每个图像帧的图像矩阵分解为第一正交矩阵、第二正交矩阵和对角矩阵；

基于针对每个图像帧的第一正交矩阵的至少一部分列向量、第二正交矩阵的至少一部分列向量、以及所述对角矩阵的至少一部分奇异值，产生针对所述每个图像帧的特征向量，以形成包括产生的各个特征向量的特征向量序列。

3.根据权利要求2所述的物体位姿估计方法，其中，所述对角矩阵的奇异值按照从大到小的顺序的前N个奇异值为所述对角矩阵的所述至少一部分奇异值，第一正交矩阵的所述至少一部分列向量为与所述N个奇异值对应的N个列向量，第二正交矩阵的所述至少一部分列向量为与所述N个奇异值对应的N个列向量，其中，N为自然数。

4.根据权利要求1所述的物体位姿估计方法，其中，所述神经网络模型包括：序列输入层，用于分别基于特征向量序列和位姿向量序列来产生用于训练的输入矩阵和用于训练的输出矩阵。

5.根据权利要求4所述的物体位姿估计方法，其中，

所述输入矩阵为通过将特征向量序列中各个特征向量按照事件流的时间顺序组合而成的矩阵，

所述输出矩阵为通过将位姿向量序列中各个位姿向量按照事件流的时间顺序组合而成的矩阵。

6.根据权利要求4所述的物体位姿估计方法，其中，所述神经网络模型用于进行六自由度估计，并且还包括以下层中的至少一种：

第一长短期记忆层、第二长短期记忆层、第一全连接层、Dropout层、第二全连接层、以及回归层，

其中，所述回归层用于基于与待估计物体对应的特征向量，获得估计的位姿向量。

7.根据权利要求6所述的物体位姿估计方法，其中，第一长短期记忆层包括256个单元，第二长短期记忆层包括512个单元，第一全连接层包括512个单元，第二全连接层7个单元且所述7个单元对应于三维坐标和四元数。

8.根据权利要求1所述的物体位姿估计方法，还包括：

通过动态视觉传感器相机获取针对设置有具有特定闪烁频率的发光二极管的物体的事件流；

基于获取的事件流合成图像帧，以产生图像帧序列。

9.一种电子设备，包括：

向量提取单元，被配置为分别从与事件流对应的图像帧序列和与图像帧序列对应的位姿序列，提取特征向量序列和位姿向量序列；

训练单元，被配置为基于特征向量序列和位姿向量序列，训练用于位姿估计的神经网络模型；

估计单元，被配置为利用训练的神经网络模型进行物体位姿估计。

10.一种电子设备，包括：

动态视觉传感器相机，被配置为获取针对设置有具有特定闪烁频率的发光二极管的物体的事件流；

处理器，被配置为：

基于获取的事件流合成图像帧，以产生图像帧序列；

分别从与事件流对应的图像帧序列和与图像帧序列对应的位姿序列，提取特征向量序列和位姿向量序列；

基于特征向量序列和位姿向量序列，训练用于位姿估计的神经网络模型；

利用训练的神经网络模型进行物体位姿估计。

11.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1-8中任意一项权利要求所述的物体位姿估计方法。

12.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1-8中任意一项权利要求所述的物体位姿估计方法。