[发明专利]基于深度3D残差网络的新生儿疼痛表情识别方法及系统

摘要

本发明公开了一种基于深度3D残差网络的新生儿疼痛表情识别方法及系统。该方法包括：建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；构建一种用于新生儿疼痛表情识别的深度3D残差网络，利用公开的有类别标签的大规模视频数据库对网络进行预训练，得到初始权重参数值，再利用新生儿表情视频库中的训练集和验证集样本对网络进行微调，获得训练好的网络模型；将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。本发明采用深度3D残差网络从视频中提取能够反映时间信息的时空动态特征，可以更好地表征面部表情的变化，从而提升分类识别的准确性。

主权项

1.一种基于深度3D残差网络的新生儿疼痛表情识别方法，其特征在于，包括如下步骤：(1)采集所需的新生儿表情视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；(2)构建应用于新生儿疼痛表情识别的深度3D残差网络，包括顺序连接的：输入层、第一卷积层、第一池化层、3D残差子网络、2D残差子网络、全连接层和Softmax分类层；输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；第一卷积层，采用若干个3D卷积核对输入层输出的归一化后的视频序列进行卷积操作，输出若干个特征图序列；第一池化层，采用3D池化核对第一卷积层的输出进行空间域和时间域的最大池化操作，输出若干个特征图序列；所述3D残差子网络，包括若干交替循环连接的3种具有不同结构的3D残差单元，以及穿插在3D残差单元连接路径中的池化层；所述3种不同结构的3D残差单元均采用2D卷积和1D卷积组合操作实现空间域和时间域的3D卷积操作，组合方式分别为不带捷径支路的串行方式、并行方式和带捷径支路的串行方式；所述2D残差子网络，包括顺序连接的至少3个具有相同结构的2D残差单元及1个池化层；全连接层，将2D残差子网络的输出全连接至本层的n个输出神经元，输出一个n维的特征向量；以及，Softmax分类层，用于将全连接层输出的特征向量全连接到对应表情类别的n个输出节点，输出一个n维向量，向量中每一个维度的数代表输入样本属于该类别的概率，其中n为表情类别数目；(3)利用公开的有类别标签的大规模视频数据库，对所构建的深度3D残差网络进行预训练，得到初始权重参数值；基于所述初始权重参数值，利用新生儿表情视频库中的训练集和验证集样本，采用微调的方法对所构建的深度3D残差网络进行训练，优化网络模型参数，得到训练好的网络模型；(4)将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。