[发明专利]基于深度3D残差网络的新生儿疼痛表情识别方法及系统

说明书

本发明公开了一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。该方法包括：建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；构建一种用于新生儿疼痛表情识别的深度3D残差网络，利用公开的有类别标签的大规模视频数据库对网络进行预训练，得到初始权重参数值，再利用新生儿表情视频库中的训练集和验证集样本对网络进行微调，获得训练好的网络模型；将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。本发明采用深度3D残差网络从视频中提取能够反映时间信息的时空动态特征，可以更好地表征面部表情的变化，从而提升分类识别的准确性。

技术领域

本发明涉及人脸表情识别及机器学习领域，特别是一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。

背景技术

科学研究证明，新生儿具有疼痛感知能力。新生儿的疼痛主要来自致痛性操作，包括足底采血、动静脉穿刺及气管插管、皮下和肌肉注射等。反复或持续的疼痛刺激对新生儿的生长发育产生一系列近期和远期的严重影响，将会导致新生儿智力发育迟缓、中枢神经系统损伤和情感紊乱等危害。疼痛评估是控制疼痛的重要一环，所以正确评估疼痛并及时采取相应的镇痛措施，以减轻新生儿的疼痛，具有重要的临床应用价值，这对提高我国人口质量具有深远的重要意义。

目前在临床实践中，由受过专门训练的医护人员进行人工疼痛评估。然而，人工评估不仅耗时费力，而且评估结果依赖于医护人员的经验，并受个人情绪等主观因素的影响。此外，由于我国的医疗资源分布很不平衡，在小城市以及偏远农村地区医疗资源相对匮乏，尤其缺乏儿科方面的专业医护人员，无法对新生儿的疼痛程度做出客观的评估。因此，迫切需要开发一款计算机辅助的新生儿疼痛自动评估系统，为家长和医护人员提供辅助诊断，以便及时采取相应的镇痛措施，减轻新生儿的疼痛。

在新生儿疼痛自动评估方面，已有一些研究，如中国专利申请“一种基于面部表情分析的新生儿疼痛识别方法”(专利申请号201710628847.8，公布号CN107491740A)，通过从视频序列中提取面部动态几何特征和面部动态纹理特征，特征融合后再进行降维、分类。但该方法要自动地精确提取特征参数十分不易。中国专利“基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法”(专利号ZL201210077351.3)，使用训练样本的特征向量构建稀疏表示模型中的过完备字典,将测试样本看成过完备字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别。但该方法需要精心设计满足稀疏性约束条件的过完备字典，而且只对疼痛与非疼痛两类表情进行二分类识别，不对疼痛程度进行评估。

为了自动提取面部表情特征，避免了人工设计特征的局限性和主观性，本发明人提出了一些基于神经网络的新生儿疼痛表情识别方法，如“基于卷积神经网络的新生儿疼痛表情分类方法”(专利申请号CN201611233381.3，公布号CN106778657A)、“一种基于深度神经网络的新生儿疼痛表情识别方法”(专利申请号CN201710497593.0，公布号CN107392109A)。卷积神经网络在图像分类识别任务上的性能在很大程度上得益于较深的网络模型。然而，如果单纯地通过堆叠卷积层来增加网络深度，那么当卷积层数增加到某个值后，分类识别的准确率反而会下降。另一方面，采用2D卷积神经网络从静态图像中提取面部表情特征，忽略了视频中相邻帧间的动态特征，不能很好地表征面部表情的变化。

为了能够利用深度神经网络来同时提取视频中时间域和空间域上的特征，一种直接的思路就是将用于图像特征学习的2D卷积拓展为3D卷积，同时在空间和时间维度上进行卷积操作。这样，由3D卷积操作构成的3D卷积神经网络可以在获取每帧图像特征的同时，也能表达相邻帧随时间推移的关联与变化。然而这样的设计在实践中存在一定的困难，首先，时间维度的引入使整个神经网络的参数数量、运行时间和训练所需的内存都大幅增长；其次，随机初始化的3D卷积核需要大量带标签的视频样本来进行训练。

发明内容