[发明专利]一种基于动作语音数据联合识别的校园霸凌检测方法

权利要求书

1.一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：

在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；

步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：

步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征

步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；

步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，

步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。

2.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤一中，对所提取特征进行筛选采用Wrapper算法实现。

3.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤一中，得到的11个时频域动作特征分别为：Energy_fy、MAD_fGyro、MAD_fHori、Max_diff(Gyro)、Max_diff(y)、Max_Gyro、Mean_fHori、Mean_Gyro、VarDir、ZCR_x和ZCR_y。

4.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤二中，对提取的12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征采用Wrapper算法实现。

5.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤二中，得到的16个语音特征分别为：MFCC：mfcc₁,mfcc₂,mfcc₄,mfcc₅,mfcc₉,mfcc₁₀,mfcc₁₁；一阶差分MFCC：dmfcc₃,dmfcc₄,dmfcc₆,dmfcc₇,dmfcc₁₁；二阶差分MFCC：ddmfcc₄,ddmfcc₅、ddmfcc₁₂和短时能量。