[发明专利]一种相机位姿定位方法

权利要求书

1.一种相机位姿定位方法，其特征在于，包括以下步骤：

S1：获取输入序列，所述输入序列为连续的共T帧的视频流，每一帧代表一张图片；

S2：将所述输入序列输入ASPP模块中，所述ASPP模块由一组不同膨胀率的膨胀卷积组成，所述输入序列中的每一张图片经过ASPP模块处理后，输出不同接受域大小的空间特征图；

S3：将每一张图片经S2后得到的不同接受域大小的空间特征图串联起来，输入到深度学习网络中进行时间特征提取，获取相机位姿；

步骤S3中所述的深度学习网络为LSTM网络；

所述LSTM网络为PDB-ConvLSTM网络，所述PDB-ConvLSTM网络采用若干个不同膨胀速率的DB-ConvLSTM网络，提取多尺度时空信息；

所述DB-ConvLSTM网络包括前向层和后向层，其中：

前向层的ConvLSTM单元从第T帧接收空间特征映射作为输入，输出前向序列特征映射具体为：

式中，*表示卷积运算符，表示Hadamard运算操作，σ表示Sigmoid函数，表示相对于输入特征向量X时输入门的学习权重矩阵，表示相对于输入为隐藏状态H时输入门的学习权重矩阵，H_t-1表示t-1时刻的隐藏状态，表示相对于输入特征向量X时遗忘门的学习权重矩阵，表示相对于输入为隐藏状态H时遗忘门的学习权重矩阵，和表示输入为特征向量X和隐藏状态H时输出门各自的学习权重矩阵，和表示输入为特征向量X和隐藏状态H时记忆门各自的学习权重矩阵，H_t表示t时刻的隐藏状态，所有的门i、f、o、存储单元c、隐藏状态H和可学习权值W都是三维张量，和表示前向层和后向层的ConvLSTM单元的隐藏状态，和分别表示前向隐藏状态时和后向隐藏状态时各自的输出学习权重矩阵，Y_t表示考虑双向时空信息的最终输出；

后向层由接收前向层输出的作为输入的输出特征的后向单元组成，具体为：

式中，分别表示后向第t帧的输入门、遗忘门、输出门、记忆门和隐藏状态的计算结果，和分别表示输入为前向隐藏状态H^f和后向隐藏状态H^b时各自的输入门学习权重矩阵，和分别表示输入为前向隐藏状态H^f和后向隐藏状态H^b时各自的遗忘门学习权重矩阵，和分别表示输入为前向隐藏状态和后向隐藏状态时各自的输出门学习权重矩阵，和分别表示输入为前向隐藏状态和后向隐藏状态时各自的记忆门学习权重矩阵，表示前向t时刻的前向隐藏状态值，表示t+1时刻后向的隐藏状态值；

然后将前向特征和后向特征合并得到最终输出:使用公式：

2.根据权利要求1所述的相机位姿定位方法，其特征在于，步骤S2中所述输入序列中每一张图片先经空间特征提取后再输入至ASPP模块进行膨胀卷积。

3.根据权利要求2所述的相机位姿定位方法，其特征在于，所述输入序列中每一张图片先经空间特征提取后得到三维空间特征张量其中，R代表的是三维张量，W、H、M分别代表的是输入图片的长度、宽度和时间。

4.根据权利要求3所述的相机位姿定位方法，其特征在于，所述ASPP模块采用K个卷积膨胀层，其中卷积核为：式中，C_k代表的是第k个膨胀卷积核，c、C代表的是相同的自然数，采用不同的膨胀因子r_k表示第k个膨胀因子。

5.根据权利要求4所述的相机位姿定位方法，其特征在于，所述输入序列中的每一张图片经过ASPP模块处理后，输出不同接受域大小的空间特征图按下式处理：

式中，表示扩张卷积操作，T_k表示经第k个膨胀卷积核输出的空间特征图。

6.根据权利要求5所述的相机位姿定位方法，其特征在于，所述第k个膨胀卷积核输出的空间特征图的接收域大小为[(c-1)r_k+1]²。

7.根据权利要求6所述的相机位姿定位方法，其特征在于，步骤S3中将空间特征图串联起来，具体为将空间特征图进行求和操作，得到合并后的特征KC表示的是K×C，计算如下：

式中，表示元素求和操作。