[发明专利]一种基于特征融合的疼痛强度评估方法

说明书

本发明提供了一种基于特征融合的疼痛强度评估方法，主要涉及利用三维卷积神经网络(3D CNN)和二维卷积神经网络(2D CNN)对人脸图像数据进行疼痛强度回归。该方法包括：对原始数据集中的人脸数据进行仿射变换，得到固定形状且不含背景信息的图像数据。再利用3D CNN对图像序列中的动态时序特征进行提取，同时利用2D CNN对图像中的静态空间特征进行提取，之后将两种方式提取到的特征通过特征图拼接的方式融合起来作为后续3D CNN的输入，最后通过回归的方式预测疼痛强度。本发明充分发挥深度学习的优势，利用不同维度的卷积神经网络分别提取输入数据的动态时序信息以及静态空间信息，提高疼痛强度回归的准确性。

技术领域

本发明涉及深度学习领域中的疼痛强度评估问题，尤其是涉及一种基于特征融合的疼痛强度评估方法。

背景技术

视觉传感器数据的出现给许多领域带来了机遇。特别是在临床医学领域，通过对视觉传感图像数据的分析，可以获得患者的健康状态信息，为相关原型系统设计提供科学依据。通过采用深度学习的方法从视觉传感图像数据中估计患者的疼痛强度，可以为医护人员提供患者疼痛强度的定量值。

疼痛强度评估作为计算机视觉领域的重要研究内容，受到了国内外研究者的广泛关注，且疼痛强度评估也是面部情绪识别的重要组成部分，有极大的研究价值。目前，深度学习的最新进展为处理大量医学视觉传感数据提供了机会。通过利用深度学习的方法对视觉传感器采集到的患者图像数据进行分析，可以为构建相应的智能系统提供基础。而现有的疼痛强度评估数据集都是从患者的面部表情获取的视频序列。因此，本专利采用动态视频序列对患者的面部疼痛强度进行评估。

深度学习(Deep Learning)是近年来备受关注的研究领域，它将多个抽象的数据处理层组合构成计算模型代替传统的人工选择特征的方法，让机器自主地学习数据样本的特征，有效避免人工选择特征的缺陷。并且与人工选择特征相比，深度学习方法利用大量的数据来学习特征，能够描述数据的特征信息进行更为丰富的描述。简言之，深度学习不管在识别时间还是准确度上，与传统方法相比都有了很大的提高。

发明内容

本发明的目的是提供一种基于特征融合的疼痛强度评估方法，引入深度学习中的三维卷积神经网络(3D CNN)和二维卷积神经网络(2D CNN)，分别提取输入数据的动态时序特征以及静态空间特征，再对两种方式提取的特征进行融合。有效解决目前浅层学习的参数调整困难、准确率不高等问题。

为了方便说明，首先引入如下概念：

二维卷积神经网络(2-Dimentional Convolutional Neural Network,2D CNN)：受视觉神经机制的启发而设计，是一种多层前馈神经网络，每层由多个二维平面组成，平面上的每个神经元独立工作，卷积神经网络主要包括特征提取层和特征映射层。主要用于单张图像的特征提取。

三维卷积神经网络(3-Dimentional Convolutional Neural Network,3D CNN)：与二维卷积神经网络相似，主要用于图像序列的特征提取。

特征图(Feature Map)：输入数据通过卷积神经网络之后会生成一个多维的输出，这个输出叫做特征图。

特征融合：将2D CNN提取到的静态空间特征与3D CNN提取到的动态时序特征通过特征图拼接的方式融合起来。

本发明具体采用如下技术方案：

提出了基于特征融合的疼痛强度评估方法，该方法的主要特征在于：

a.将原始图像数据进行仿射变换并裁剪，得到不含背景信息的面部图像序列；

b.将上述a中获得的面部图像序列以16帧为一个样本输入3D CNN提取图像序列中的时序特征，并将该样本的最后一帧输入2D CNN提取图像的静态空间特征；