[发明专利]一种基于人眼视线的人车交互方法、装置和存储介质

说明书

本申请公开了一种基于人眼视线的人车交互方法、装置和存储介质，该方法和装置应用于车辆，具体为获取车辆的驾驶员的人脸图像；利用神经网络算法对人脸图像进行处理，得到驾驶员的当前视线方向和眼部动作；根据当前视线方向与眼部动对车辆内的车内设备执行操作。这样一来，就无需驾驶员用手去对相应车内设备进行操作，从而避免驾驶员执行需要放开方向盘的操控动作而对汽车的安全行驶造成的不利影响。

技术领域

本申请涉及车辆技术领域，更具体地说，涉及一种基于人眼视线的人车交互方法、装置和存储介质。

背景技术

我们知道，在汽车正常行驶过程中，为了保证安全驾驶，驾驶员的手最好仅限于方向盘及其附件，对其他部件最好不要动。但是，在汽车实际行驶时，往往需要驾驶员执行开启并设定导航、开关音视频播放、开关车窗等实际的需要手眼配合的动作。

本申请的发明人在实践中发现，这些需要手眼配合的操控动作由于影响到了驾驶员对方向盘及其附件的有效掌握，从而对汽车的安全行驶造成了不利的影响。

发明内容

有鉴于此，本申请提供一种基于人眼视线的人车交互方法、装置和存储介质，用于避免驾驶员执行需要放开方向盘的操控动作而对汽车的安全行驶造成的不利影响。

为了实现上述目的，现提出的方案如下：

一种基于人眼视线的人车交互方法，应用于车辆，所述人车交互方法包括步骤：

获取所述车辆的驾驶员的人脸图像；

利用神经网络算法对所述人脸图像进行处理，得到所述驾驶员的当前视线方向和眼部动作；

根据所述当前视线方向与所述眼部动对车辆内的车内设备执行操作。

可选的，所述获取所述车辆的驾驶员的人脸图像，包括步骤：

利用所述车辆内的至少一个摄像设备采集所述驾驶员的影像；

对所述影像进行处理，得到所述人脸图像。

可选的，所述影像为可见光影像和/或红外影像。

可选的，所述利用神经网络算法对所述人脸图像进行处理，包括步骤：

利用三个级联的Hourglass模块对所述人脸图像进行处理，得到人脸信息；

利用一个卷积层模块对所述人脸信息进行处理，得到包括多个眼睛关键点的特征图，所述特征图包含每个所述眼睛关键点的坐标；

利用Resnet网络采用直接回归算法对所述特征图进行处理，得到所述当前视线方向；

利用Lenet两分类网络对所述特征图进行处理，得到所述眼部动作。

可选的，所述根据所述当前视线方向与所述眼部动对车辆内的车内设备执行操作，包括步骤：

根据所述当前视线方向从所述车辆内多个车内设备中选定目标车内设备；

控制所述目标车内设备执行与所述眼部动作匹配的操作。

可选的，所述控制所述目标车内设备执行与所述眼部动作匹配的操作，包括步骤：

检测所述当前视线方向位于所述目标车内设备的焦点位置；

对所述眼部动作进行检测；

当所述眼部动作符合预设标准时，控制所述目标车内设备执行与所述焦点位置相匹配的操作。

可选的，所述人车交互方法还包括步骤：

利用二分类的支持向量机对所述当前视线方向进行处理，得到所述驾驶员是否分分心的结论，当发现驾驶员分心时，向驾驶员发出警示信息。