[发明专利]基于多模态融合的学生学习偏好识别方法

权利要求书

1.基于多模态融合的学生学习偏好识别方法，其特征在于，包括以下步骤：

S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习；

S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习；

S3、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习；

S4、采用3D时间特征网络来学习时序特征；

S5、将语音特征学习结果、维生命特征学习结果、二维空间特征学习结果、二维时间特征学习结果和时序特征学习结果，输入到神经网络模型中进行融合，获得预测结果。

2.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，所述生命特征信息包括心率信息、呼吸信息和血压信息。

3.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S1中，包括以下步骤：

S101、声音传感器获取学生的语音信息；

S102、训练语音特征学习网络；

S103、训练完成后，利用语音特征学习网络参数对原始输入进行一映射得到特征信息得分，即：y＝f(x,θ_DNN)，其中x表示原始语音信息，θ_DNN表示网络参数，y表示映射后的特征信息得分。

4.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S2中，包括以下步骤：

S201、穿戴设备获取学生的生命特征信息；

S202、将穿戴设备获取的生命信号转换位三通道的二维图像；

S203、采用维生命特征学习网络，获取二维图像的维生命特征信息得分。

5.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，其特征在于，在所述步骤S3中，包括以下步骤：

S301、摄像头获取学生的视频信息；

S302、将视频分为N段，以单帧RGB图像为输入，通过二维空间特征学习网络，获得二维空间特征学习预测得分，以连续光流场为输入，通过二维时间特征学习网络，获得二维空间特征学习预测得分；

S303、将N个预测结果进行聚合，分别得到空间和时间网络上对视频中类别预测的得分。

6.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S4中，所述3D时间特征网络将得到的N帧RGB图像为输入，通过将3D卷积分解为空间上的二维卷积及时间上的一维卷积，来学习时序特征。

7.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，在所述步骤S4中，所述神经网络模型为LSTM网络模型。

8.根据权利要求1所述的基于多模态融合的学生学习偏好识别方法，其特征在于，所述语音特征学习网络、维生命特征学习网络、二维空间特征学习网络、二维时间特征学习网络和3D时间特征网络均Resnet-50为基础网络。