[发明专利]基于双通道三维卷积神经网络的新生儿疼痛表情识别方法

说明书

本发明公开了一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，建立新生儿面部表情视频库；(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；(3)构造一种双通道三维卷积神经网络；(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型。该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。

技术领域

本发明涉及一种表情识别方法，具体涉及一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法。

背景技术

在临床过程中，医护人员实施的许多操作可引发新生儿的疼痛，如肌肉注射、足底采血、动静脉穿刺及插管等。长期以来，新生儿疼痛常常被忽略，大多没有得到适当的处理。研究表明，新生儿反复遭受疼痛刺激，会对他们的发育和将来的行为产生不良影响，可能会造成中枢神经系统损伤、急性生理反应、情感紊乱、发育迟缓等症状。因此，采取相应的镇痛措施，以减轻新生儿的疼痛，具有重要的临床意义。

疼痛评估是疼痛管理的关键，只有对疼痛进行准确的评估后，才能进一步判断是否需要进行疼痛治疗的干预，减少疼痛刺激对新生儿发育产生的不良影响。疼痛是个体的主观感受，语言表述被认为是最可靠的疼痛评估方法。但新生儿缺乏语言能力，无叙述疼痛能力，只能通过专业的评估方法进行诊断。目前在临床实践中，由受过专门训练的医务人员采用新生儿疼痛量表等评估工具进行人工评估。在这些评估工具中，都将“面部表情”作为一项重要的监测指标。然而，人工评估不仅耗时费力，而且评估结果依赖于医务人员的经验，并受个人情绪等主观因素的影响。

近年来，深度卷积神经网络在人脸识别、图像分类和识别等方面取得了突破性的进展，其强大的特征学习能力引起了广泛的关注。通过卷积神经网络自主学习得到的特征相对于人工设计特征具有更强的表征能力和泛化能力，从而最终提升分类识别或预测的准确性。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。

技术方案：本发明所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：

(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，其中，n为正整数，建立新生儿面部表情视频库；

(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；

(3)构造一种双通道三维卷积神经网络；

(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型；

(5)将测试视频片段输入到已训练的网络模型进行疼痛表情分类，输出识别结果。

优选的，步骤(3)中，所述双通道三维卷积神经网络包括特征提取部分和特征融合与分类识别部分。

优选的，所述特征提取部分包括三维卷积神经网络通道一和三维卷积神经网络通道二构成，所述通道一和通道二由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成，其中所述通道一用于对l帧长的灰度图序列进行处理，所述通道二对l帧长的LBP特征图序列进行处理；所述特征融合和分类识别部分包括串接层和分类层。

优选的，所述通道一和通道二的具体结构为：