[发明专利]基于孪生神经网络的三维头部姿态估计方法、存储介质和终端

说明书

本发明公开基于孪生神经网络的三维头部姿态估计方法、存储介质和终端，所述孪生神经网络包括两个相同结构的第一网络和第二网络，所述方法包括：将待估计头部图像输入至第一网络或第二网络，输出头部姿态估计结果；所述第一网络和第二网络经训练得到，所述训练包括：将多对头部图像分别作为第一网络和第二网络的输入，第一网络和第二网络分别输出对应头部图像的预测角度，每对头部图像的真实角度相差大于预设大小；利用损失函数对孪生神经网络进行训练。本发明的两个子网络在整体的孪生神经网络中无结构上的耦合，所以在姿态估计阶段能够只使用子网络进行预测，这样既达到了复杂网络的精准度，也实现了简单网络的轻量化，在部署上更为灵活。

技术领域

本发明涉及姿态估计领域，尤其涉及基于孪生神经网络的三维头部姿态估计方法、存储介质和终端。

背景技术

头部姿态估计能够应用于计算机视觉的许多领域，例如注意力和行为分析、显著性预测等。在本项工作中，我们主要关注汽车/火车驾驶领域，因为较多文献表明，头部姿态估计是驾驶员行为和注意力监测分析的关键要素之一。此外，近年来半自动、自动驾驶汽车的引入及其与传统汽车共存的现状增加了驾驶员注意力研究的关注度。

驾驶员注意力分散是造成道路交通事故最主要的原因之一。据美国国家公路交通安全管理局(NHTSA)报告，在北美大约有18％的致命驾驶员交通事故是因为驾驶员分心而导致的，2011年有3000多人在交通事故中丧生。美国国家安全局(NHTSA)将驾驶活动中的注意力分散描述为“一种可能使人的注意力从驾驶的主要任务转移开的活动”，并进一步定义了三类分心驾驶行为：1)手动分心：驾驶员的手不在方向盘上；此类活动的示例是不正确使用信息娱乐系统(如无线电、GPS导航设备等)或文本消息；2)视觉干扰：驾驶员的眼睛不是注视着道路，而是注视着智能手机的屏幕或报纸；3)注意力分散：驾驶员的注意力不集中在驾驶活动上，一般而言，这可能是由压力或恶劣的身体状况造成的，或者与乘客交谈时发生的。在驾驶活动中滥用智能手机会导致上述三种干扰状况，也是导致致命的驾驶分心的最重要原因之一。

有人提出了一些检测车内安全的方法，可以根据所用信号的类型进行划分：1)生理信号：在驾驶舱内放置特殊的传感器，如脑电图(EEG)、心电图(ECG)或肌电图(EMG)，以获取驾驶员身体的状态信息，但是这种解决方案要求人体与传感器接触，会影响驾驶员的驾驶行为；2)车辆信号：从汽车总线获取诸如速度变化、方向盘运动之类的车辆参数，用于反映驾驶员的异常行为；3)物理信号：利用图像处理技术通过面部特征、眼睛状态、头部姿态或嘴巴状态等监测驾驶员的驾驶状态。由于前两种方法对驾驶员或车辆具有干扰性，第三种方法是被人们广泛采用的。

因此能够提供一种加速训练、网络的泛化能力较强、精准度高并且网络轻量化的头部姿态估计方法，属于本领域亟待解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供基于孪生神经网络的三维头部姿态估计方法、存储介质和终端。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供基于孪生神经网络的三维头部姿态估计方法，所述孪生神经网络包括两个相同结构的第一网络和第二网络，所述方法包括：

将待估计头部图像输入至第一网络或第二网络，输出头部姿态估计结果；

所述第一网络和第二网络经训练得到，所述训练包括：

将多对头部图像分别作为第一网络和第二网络的输入，第一网络和第二网络分别输出对应头部图像的预测角度，每对头部图像的真实角度相差大于预设大小；