[发明专利]基于深度3D残差网络的新生儿疼痛表情识别方法及系统

权利要求书

1.一种基于深度3D残差网络的新生儿疼痛表情识别方法，其特征在于，包括如下步骤：

(1)采集所需的新生儿表情视频片段样本，将每一个视频片段剪辑成一个等长的帧序列，建立包含疼痛表情类别标签的新生儿表情视频库，并将新生儿表情视频库中的样本划分为训练集和验证集；

(2)构建应用于新生儿疼痛表情识别的深度3D残差网络，包括顺序连接的：输入层、第一卷积层、第一池化层、3D残差子网络、2D残差子网络、全连接层和Softmax分类层；

输入层，用于输入视频序列，对视频序列中的每帧图像进行归一化处理；

第一卷积层，采用若干个3D卷积核对输入层输出的归一化后的视频序列进行卷积操作，输出若干个特征图序列；

第一池化层，采用3D池化核对第一卷积层的输出进行空间域和时间域的最大池化操作，输出若干个特征图序列；

所述3D残差子网络，包括若干交替循环连接的3种具有不同结构的3D残差单元，以及穿插在3D残差单元连接路径中的池化层；所述3种不同结构的3D残差单元均采用2D卷积和1D卷积组合操作实现空间域和时间域的3D卷积操作，组合方式分别为不带捷径支路的串行方式、并行方式和带捷径支路的串行方式；

所述2D残差子网络，包括顺序连接的至少3个具有相同结构的2D残差单元及1个池化层；

全连接层，将2D残差子网络的输出全连接至本层的n个输出神经元，输出一个n维的特征向量；

以及，Softmax分类层，用于将全连接层输出的特征向量全连接到对应表情类别的n个输出节点，输出一个n维向量，向量中每一个维度的数代表输入样本属于该类别的概率，其中n为表情类别数目；

(3)利用公开的有类别标签的大规模视频数据库，对所构建的深度3D残差网络进行预训练，得到初始权重参数值；基于所述初始权重参数值，利用新生儿表情视频库中的训练集和验证集样本，采用微调的方法对所构建的深度3D残差网络进行训练，优化网络模型参数，得到训练好的网络模型；

(4)将待测试新生儿表情视频片段输入到训练好的网络模型，进行表情分类识别，得到疼痛表情识别结果。

2.根据权利要求1所述的基于深度3D残差网络的新生儿疼痛表情识别方法，其特征在于，所述3D残差子网络包括第一子网络、第二子网络和第三子网络；各子网络至少包括3个具有不同结构的3D残差单元以及1个池化层。

3.根据权利要求1所述的基于深度3D残差网络的新生儿疼痛表情识别方法，其特征在于，所述3D残差子网络中的3D残差单元分别为3D残差单元A、3D残差单元B和3D残差单元C，所述3D残差单元A包括第一支路和第二支路，第一支路包括顺序连接的卷积层A1、3D卷积模块A和卷积层A4，第二支路是捷径连接支路，将第一支路和第二支路的输出进行逐像素相加后，再经过ReLU非线性激活函数层输出；

所述3D残差单元B包括第一支路和第二支路，第一支路包括顺序连接的卷积层B1、3D卷积模块B和卷积层B4，第二支路是捷径连接支路，将第一支路和第二支路的输出进行逐像素相加后，再经过ReLU非线性激活函数层输出；

所述3D残差单元C包括第一支路和第二支路，第一支路包括顺序连接的卷积层C1、3D卷积模块C和卷积层C4，第二支路是捷径连接支路，将第一支路和第二支路的输出进行逐像素相加后，再经过ReLU非线性激活函数层输出。

4.根据权利要求1所述的基于深度3D残差网络的新生儿疼痛表情识别方法，其特征在于，所述2D残差单元包括第一支路和第二支路，第一支路包括3个顺序连接的卷积层1、卷积层2和卷积层3，第二支路是捷径连接支路，将第一支路和第二支路的输出进行逐像素相加后，再经ReLU非线性激活函数层输出。