[发明专利]基于人体骨架运动学特征信息的抑郁症识别方法及系统

权利要求书

1.一种基于人体骨架运动学特征信息的抑郁症识别系统，其特征在于，该系统包括数据收集模块、数据提取模块、预处理及数据集制作模块、模型构建及训练模块和结果预测及准确率计算模块；

数据收集模块用于收集人体骨架运动学特征数据；数据收集模块包括设备开启及数据收集子模块、指令播放子模块、数据录制子模块、抑郁状态评估子模块和筛选子模块；

设备开启及数据收集子模块用于开启Kinect设备进行人体骨架运动学特征数据的收集；

指令播放子模块用于引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；

数据录制子模块用于打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；

抑郁状态评估子模块用于待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表得分；其中，实验对象分为抑郁组和非抑郁组；

筛选子模块用于根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据；

数据提取模块用于提取人体骨架运动学特征数据；数据提取模块包括文件路径记录子模块、原始记录数据读取子模块、时间序列数据提取子模块、噪音数据剔除子模块、四元数提取子模块和提取结果获得子模块；

文件路径记录子模块用于遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；

原始记录数据读取子模块用于执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；

时间序列数据提取子模块用于提取基于.xef记录文件的时间序列数据；

噪音数据剔除子模块用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：

四元数提取子模块用于针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：

则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：

d_jt＝[x_jt，y_jt，z_jt，Rx_jt，Ry_jt，Rz_jt，Rw_jt]；

且对于Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：

其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；

提取结果获得子模块用于获得实验对象的提取结果，并以实验对象的名称保存为csv格式的文件；

预处理及数据集制作模块用于特征数据预处理并制作数据集；预处理及数据集制作模块包括文件读取子模块、时间序列读取子模块、标准化数据预处理子模块、文件写入子模块、对象标注子模块、数据集制作子模块和数据集划分子模块；

文件读取子模块用于读取提取得到的实验对象csv文件；

时间序列读取子模块用于读取时间序列，并重新写入到另一文件夹中的同名csv文件中；

标准化数据预处理子模块用于读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x₁，x₂，...，x_t，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：

其中，n表示序列长度，则新序列y₁，y₂，...，y_n∈[0，1]且无量纲；

文件写入子模块用于将标准化后的数据写入到csv文件；

对象标注子模块用于将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；

数据集制作子模块用于通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；

数据集划分子模块用于对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集；

模型构建及训练模块用于构建及训练抑郁症识别神经网络模型；

结果预测及准确率计算模块用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。

2.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别系统，其特征在于，所述模型构建及训练模块包括时间卷积神经网络结果输出子模块、瓶颈卷积神经网络结果输出子模块和抑郁症识别子模块；

时间卷积神经网络结果输出子模块用于将训练集数据输入到时间卷积神经网络，得到时间卷积神经网络的输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；

瓶颈卷积神经网络结果输出子模块用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；

抑郁症识别子模块用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别；

所述结果预测及准确率计算模块包括识别诊断子模块、预测类获取子模块、比较子模块和损失计算子模块；

识别诊断子模块用于采用softmax作为分类器进行抑郁症的识别诊断，公式为：

其中，S_i表示第i类的softmax预测值；i和j均为类别序号；

预测类获取子模块用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；

比较子模块用于将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；

损失计算子模块用于预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：

其中，M表示类别数量；c表示类别序号；y_c表示真实标签；p_c表示softmax的输出。