[发明专利]头部姿态估计方法和装置、电子设备和存储介质

权利要求书

1.一种头部姿态估计方法，其特征在于，包括：

获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；

利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；以及利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；其中，所述前一帧图像为所述驾驶员图像序列中在时序上位于所述当前帧图像之前的一帧图像；

将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；

利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，N为大于0的整数。

2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员图像序列，包括：

通过车辆内至少一个位置部署的红外摄像头进行图像采集，得到所述驾驶员图像序列。

3.根据权利要求2所述的方法，其特征在于，所述通过红外摄像头进行图像采集，包括：

在所述车辆处于行驶状态时通过红外摄像头进行图像采集；和/或，

在所述车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集；和/或，

在检测到所述车辆点火后通过红外摄像头进行图像采集；和/或，

在检测到所述车辆的启动指令时通过红外摄像头进行图像采集；和/或，

在检测到对所述车辆或所述车辆中部件或系统的控制指令时通过红外摄像头进行图像采集。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

在通过红外摄像头进行图像采集的过程中，利用红外光补偿器进行红外光补偿。

5.根据权利要求1-4任一所述的方法，其特征在于，所述利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，包括：

对所述当前帧图像和所述前一帧图像进行计算，得到所述当前帧图像和所述前一帧图像之间的光流图像，所述光流图像包括一帧横向光流图像及一帧纵向光流图像；

利用所述第二神经网络对所述当前帧图像和所述前一帧图像之间模型的光流图像进行特征提取。

6.根据权利要求1-5任一所述的方法，其特征在于，所述基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息，包括：

基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征、以及所述当前帧图像与所述前N个历史帧图像的权重值，进行头部姿态预测，得到所述当前帧图像中的头部姿态信息。

7.根据权利要求1-5任一所述的方法，其特征在于，所述LSTM模型包括M层LSTM，其中，M为大于0的整数；

M的取值大于1时，所述利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息，包括：

依次通过所述LSTM模型中的前M-1层LSTM，对所述当前帧图像对应的拼接特征进行特征提取，得到第三特征；

通过所述LSTM模型中的第M层LSTM，基于所述当前帧图像的第三特征和所述前N个历史帧图像的第三特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，每个所述历史帧图像的第三特征为所述历史帧图像对应的拼接特征依次通过所述前M-1层LSTM进行特征提取得到的特征。