[发明专利]基于深度学习的眨眼波形图生成方法、装置及设备

说明书

本申请提出了一种基于深度学习的眨眼波形图生成方法、装置及设备，其中，方法包括：获取针对用户眼部运动的视频流，其中，视频流中包含多帧眼部图像帧；将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域；获取目标区域对应的睑裂高度；根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。根据本申请能够提高眼睑间区域识别的准确性，以及睑裂高度和眨眼波形图的准确性，进而，提高了评估眼表疾病的可靠性。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的眨眼波形图生成方法、装置及设备。

背景技术

当患者眼表异常时，可能出现不同程度的眼部灼热感、刺激感或异物感，从而导致眨眼频次改变、眨眼幅度异常、完全闭合时间异常等。通过绘制眨眼波形图可以评估眼表疾病。

目前，在绘制眨眼波形图时，通常采用边缘检测算法对采集的视频帧捕捉睑缘信息，该方案中，由于存在上眼睑边缘被眼睫毛等无用边缘切断的情况，导致无法精确定位上睑缘的位置，进而导致无法准确计算眼睑间距，眨眼波形图的准确性有待提高。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种基于深度学习的眨眼波形图生成方法、装置及设备。

本申请第一方面实施例提出了一种基于深度学习的眨眼波形图生成方法，包括：

获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；

将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；

获取所述目标区域对应的睑裂高度；

根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。

可选地，在所述根据在所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度排序之前，还包括：确定所述目标区域小于预设高度的眼部图像帧；将所述小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域；将所述属于闭眼类别的目标区域的睑裂高度调整为零。

可选地，所述分割模型通过以下步骤训练得到：获取多帧眼部样本图像，所述眼部样本图像中上下眼睑之间的区域标注有掩膜；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分割模型，其中，所述卷积神经网络包括编码器和解码器，固定所述编码器除批归一化层之外的部分，训练所述解码器直至收敛，当所述解码器收敛后，对所述编码器解除固定，并训练所述编码器直至收敛。

可选地，所述分类模型通过以下步骤训练得到：获取多帧眼部样本图像，所述眼部样本图像包括睁眼样本图像和闭眼样本图像；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分类模型，其中，所述卷积神经网络包括卷积层和全连接层，固定所述卷积层除批归一化层之外的部分，训练所述全连接层直至收敛，当所述全连接层收敛后，对所述卷积层解除固定，并训练所述卷积层直至收敛。

可选地，所述的方法还包括：根据所有睑裂高度中最大值的预设比例确定所述高度阈值。

本申请第二方面实施例提出了一种基于深度学习的眨眼波形图生成装置，包括：

获取模块，用于获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；

分割模块，用于将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；