[发明专利]神经网络训练及眼睛睁闭状态检测方法、装置及设备

说明书

本公开的实施方式公开了一种神经网络训练方法、眼睛睁闭状态检测方法、智能驾驶控制方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的神经网络训练方法包括：经待训练的睁闭眼检测用神经网络，对至少两个睁闭眼检测训练任务各自对应的图像集中的多张眼睛图像，分别进行眼睛睁闭状态检测处理，输出眼睛睁闭状态检测结果；其中，不同图像集所包含的眼睛图像至少部分不同；根据所述眼睛图像的眼睛睁闭标注信息和所述神经网络输出的眼睛睁闭状态检测结果，分别确定至少两个睁闭眼检测训练任务各自对应的损失，并根据所述至少两个睁闭眼检测训练任务各自对应的损失调整所述神经网络的网络参数。

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种神经网络训练方法、神经网络训练装置、眼睛睁闭状态检测方法、眼睛睁闭状态检测装置、智能驾驶控制方法、智能驾驶控制装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

眼睛睁闭状态检测即检测眼睛的睁闭情况。眼睛睁闭状态监测可以用于疲劳监测、活体识别、表情识别等领域。例如，在辅助驾驶技术中，需要针对驾驶员进行眼睛睁闭状态检测，基于眼睛睁闭状态检测结果，判断驾驶员是否处于疲劳驾驶状态，从而实现疲劳驾驶监测。准确的检测出眼睛睁闭状态，尽可能的避免误判，有利于提高车辆行驶的安全性。

发明内容

本公开实施方式提供一种神经网络训练、眼睛睁闭状态检测以及智能驾驶控制技术方案。

根据本公开实施方式其中一方面，提供一种神经网络训练方法，所述方法包括：经待训练的睁闭眼检测用神经网络，对至少两个睁闭眼检测训练任务各自对应的图像集中的多张眼睛图像，分别进行眼睛睁闭状态检测处理，输出眼睛睁闭状态检测结果；其中，不同图像集所包含的眼睛图像至少部分不同；根据所述眼睛图像的眼睛睁闭标注信息和所述神经网络输出的眼睛睁闭状态检测结果，分别确定至少两个睁闭眼检测训练任务各自对应的损失，并根据所述至少两个睁闭眼检测训练任务各自对应的损失调整所述神经网络的网络参数。

在本公开一实施方式中，所述至少两个睁闭眼检测训练任务包括以下至少两个任务：眼睛有附着物情形的睁闭眼检测任务、眼睛无附着物情形的睁闭眼检测任务、室内环境下的睁闭眼检测任务、室外环境下的睁闭眼检测任务、眼睛有附着物且附着物上有光斑情形的睁闭眼检测任务、眼睛有附着物且附着物上无光斑情形的睁闭眼检测任务；所述至少两个睁闭眼检测训练任务各自对应的图像集包括以下相应的至少两个图像集：眼睛有附着物的眼睛图像集、眼睛无附着物的眼睛图像集、室内环境下采集的眼睛图像集、室外环境下采集的眼睛图像集、眼睛有附着物且附着物上有光斑的眼睛图像集、眼睛有附着物且附着物上无光斑的眼睛图像集。

在本公开又一实施方式中，所述经待训练的睁闭眼检测用神经网络，对至少两个睁闭眼检测训练任务各自对应的图像集中的多张眼睛图像，分别进行眼睛睁闭状态检测处理，输出眼睛睁闭状态检测结果，包括：根据预设的不同睁闭眼检测训练任务的图像数量比例，针对不同睁闭眼检测训练任务，分别从不同的所述图像集中获取相应数量的眼睛图像；经待训练的睁闭眼检测用神经网络，对所述相应数量的眼睛图像，分别进行眼睛睁闭状态检测处理，输出各眼睛图像各自对应的眼睛睁闭状态检测结果。

在本公开再一实施方式中，所述根据所述眼睛图像的眼睛睁闭标注信息和所述神经网络输出的眼睛睁闭状态检测结果，分别确定至少两个睁闭眼检测训练任务各自对应的损失，包括：针对任一睁闭眼检测训练任务而言，根据神经网络针对该训练任务对应的图像集中的多个眼睛图像分别输出的眼睛睁闭状态检测结果中的最大概率值与该图像集中的相应眼睛图像的标注信息所对应的分界面之间的夹角，确定该训练任务对应的损失。

在本公开再一实施方式中，所述根据所述至少两个睁闭眼检测训练任务各自对应的损失调整所述神经网络的网络参数，包括：根据所述至少两个睁闭眼检测训练任务各自对应的损失，确定所述至少两个睁闭眼检测训练任务的综合损失；根据所述综合损失，调整所述神经网络的网络参数。