[发明专利]基于多模态融合的学生学习偏好识别方法

说明书

本发明公开了基于多模态融合的学生学习偏好识别方法，属于教学技术领域，包括以下步骤：S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习，S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习。本发明中，采用多尺度的方式，根据视频背景变化分割不同时长的n个小视频，实现精准识别，同时，采用多模态融合，根据表情、语音、心率、呼吸、血压等信息建立多模态特征，识别效果更好，通过LSTM模型，在更深的机制层面实现网络的结合，强化了长时记忆能力。

技术领域

本发明涉及教学技术领域，具体为基于多模态融合的学生学习偏好识别方法。

背景技术

学生中小学阶段的教育是最能体现甚至于决定学生兴趣方向的教育阶段。目前，学生家长和教师都非常重视对学生的兴趣培养，而从巨大的学习资源库中挑选学习资源来帮助培养学生学习兴趣，这种方式不仅会造成学习资源的浪费以及不合理占用，而且自主推荐的学习资源多而杂，难以抓住学生学习的兴趣点，从而难以达到提升学习兴趣的效果；此外，学校所提供的教育资源无法根据学生用户的能力和兴趣进行个性化推荐，如此便导致了现有的教育资源的利用率普遍不高，即使教育资源库中的内容再丰富，但对中小学生学习的影响甚微。

传统的教学设计不考虑学生的差异性，而实际情况是学生群体庞大，学习偏好有差异，这是普遍存在的客观规律，即使是25人的小班，个体之间的差异也非常大，传统教学模式很难兼顾所有学生的个性化需求。

综上所述，研发一种基于多模态融合的学生学习偏好识别方法，仍是教学技术领域中急需解决的关键问题。

发明内容

本发明提供的发明目的在于提供基于多模态融合的学生学习偏好识别方法，相较于传统的方式，将视频划分为n个长度相等的片段，然后进行抽样，容易丢失重要信息，或容易增加计算量，采用多尺度的方式，根据视频背景变化分割不同时长的n个小视频，实现精准识别，同时，采用多模态融合，根据表情、语音、心率、呼吸、血压等信息建立多模态特征，识别效果更好，通过LSTM模型，在更深的机制层面实现网络的结合，强化了长时记忆能力。

为了实现上述效果，本发明提供如下技术方案：基于多模态融合的学生学习偏好识别方法，包括以下步骤：

S1、声音传感器获取学生的语音信息，利用语音特征学习网络对获取的语音信息进行语音特征学习。

S2、穿戴设备获取学生的生命特征信息，采用维生命特征学习网络对生命特征信息进行维生命特征学习。

S3、摄像头获取学生的视频信息，利用二维空间特征学习网络和二维时间特征学习网络，对视频信息进行二维空间特征学习和二维时间特征学习。

S4、采用3D时间特征网络来学习时序特征。

S5、将语音特征学习结果、维生命特征学习结果、二维空间特征学习结果、二维时间特征学习结果和时序特征学习结果，输入到神经网络模型中进行融合，获得预测结果。

进一步的，所述生命特征信息包括心率信息、呼吸信息和血压信息。

进一步的，在所述步骤S1中，包括以下步骤：

S101、声音传感器获取学生的语音信息。

S102、训练语音特征学习网络。

S103、训练完成后，利用语音特征学习网络参数对原始输入进行一映射得到特征信息得分，即：y＝f(x,θ_DNN)，其中x表示原始语音信息，θ_DNN表示网络参数，y表示映射后的特征信息得分。

进一步的，在所述步骤S2中，包括以下步骤：

S201、穿戴设备获取学生的生命特征信息。