[发明专利]基于双通道三维卷积神经网络的新生儿疼痛表情识别方法

权利要求书

1.一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，该方法包括以下步骤：

(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，其中，n为正整数，建立新生儿面部表情视频库；

(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；

(3)构造一种双通道三维卷积神经网络；

(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型；

(5)将测试视频片段输入到已训练的网络模型进行疼痛表情分类，输出识别结果。

2.根据权利要求1所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(3)中，所述双通道三维卷积神经网络包括特征提取部分和特征融合与分类识别部分。

3.根据权利要求2所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，所述特征提取部分包括三维卷积神经网络通道一和三维卷积神经网络通道二构成，所述通道一和通道二由输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4、卷积层5、池化层5、全连接层组成，其中所述通道一用于对l帧长的灰度图序列进行处理，所述通道二对l帧长的LBP特征图序列进行处理；所述特征融合和分类识别部分包括串接层和分类层。

4.根据权利要求3所述的基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，其特征在于，所述通道一和通道二的具体结构为：

第一层为输入层，将输入的每一帧灰度图或LBP特征图归一化成h×w像素，其中，h、w为正整数；

第二层为卷积层1，采用n₁个d₁×k₁×k₁的三维卷积核对l帧长的灰度图序列或LBP特征图序列进行卷积运算，输出n₁个特征图组，每个特征图组包含l₁个大小为h₁×w₁的特征图，其中，d₁为时间维大小，k₁×k₁为空间维大小，n₁、d₁、k₁、l₁、h₁、w₁为正整数；

第三层为池化层1，采用d₂×k₂×k₂的池化核对卷积层1输出的特征图组进行下采样操作，输出n₁个特征图组，每个特征图组包含l₂个大小为h₂×w₂的特征图，其中，d₂为时间维大小，k₂×k₂为空间维大小，d₂、k₂、l₂、h₂、w₂为正整数；

第四层为卷积层2，采用n₂个d₁×k₁×k₁的三维卷积核对池化层1输出的特征图组进行卷积运算，同时进行补零操作，输出n₂个特征图组，每个特征图组包含l₂个大小为h₂×w₂的特征图，其中，n₂为正整数；

第五层为池化层2，采用d₂×k₂×k₂的池化核对卷积层2输出的特征图组进行下采样操作，输出n₂个特征图组，每个特征图组包含l₃个大小为h₃×w₃的特征图，其中，l₃、h₃、w₃为正整数；

第六层为卷积层3，采用n₃个d₁×k₁×k₁的三维卷积核对池化层2输出的特征图组进行卷积运算，同时进行补零操作，输出n₃个特征图组，每个特征图组包含l₃个大小为h₃×w₃的特征图，其中，n₃为正整数；

第七层为池化层3，采用d₂×k₂×k₂的池化核对卷积层3输出的特征图组进行下采样操作，输出n₃个特征图组，每个特征图组包含l₄个大小为h₄×w₄的特征图，其中，l₄、h₄、w₄为正整数；

第八层为卷积层4，采用n₃个d₁×k₁×k₁的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n₃个特征图组，每个特征图组包含l₄个大小为h₄×w₄的特征图；

第九层为池化层4，采用d₂×k₂×k₂的池化核对卷积层4输出的特征图组进行下采样操作，输出n₃个特征图组，每个特征图组包含l₅个大小为h₅×w₅的特征图，其中，l₅、h₅、w₅为正整数；

第十层为卷积层5，采用n₃个d₁×k₁×k₁的三维卷积核对池化层3输出的特征图组进行卷积运算，同时进行补零操作，输出n₃个特征图组，每个特征图组包含l₅个大小为h₅×w₅的特征图；

第十一层为池化层5，采用d₂×k₂×k₂的池化核对卷积层5输出的特征图组进行下采样操作，输出n₃个h₆×w₆的特征图，其中，h₆、w₆为正整数；

第十二层为全连接层，将池化层5的输出全连接至本层的n₄个神经元，输出一个n₄维的特征向量，其中，n₄为正整数。