[发明专利]一种基于多视觉线索融合的在线学习投入识别方法

说明书

本发明公开了一种基于多视觉线索融合的在线学习投入识别方法，首先本发明面向大规模在线学习投入感知需求，从多视觉线索角度出发，挖掘在线学习投入的关联视觉线索，构建在线投入多维细粒度表征模型；其次，将时间序列的特征学习问题转化为基于图的特征学习问题，提出基于互信息正则化的图网络模型，同时，为本发明所采用的机器学习方法提供训练支持，构建了基于多视觉线索的学习投入感知数据库；最后构建融合多视觉线索的细粒度学习投入识别方法，并在此基础上设计基于投入图的粗粒度学习投入识别方法整合细粒度变长学习投入序列，最终实现多粒度在线学习投入识别，满足实际应用中多层次、多阶段的学习投入感知需求。

技术领域

本发明属于图像识别、图像分类技术领域，具体涉及一种基于多视觉线索融合的在线学习投入识别方法，以期通过融合多视觉线索中隐含的心理与生理信息推断在线学习投入，为个性化学习和自适应干预等教育应用提供技术支撑，助力教育向精准化、个性化和智能化方向发展。

背景技术

人工智能、大数据等新兴信息技术与教育教学的深度融合，助推了在线教育的快速蓬勃发展，推动了在线教育应用走向大规模与常态化发展。在线教育已成为教育生态系统中不可或缺的重要组成部分。

在线教育在为学习者提供跨时空支持和资源共享保障的同时，却面临着日益凸显的“质量危机”，主要表现为“高辍课率”和“低完成率”等。研究表明，导致上述“质量危机”的主要原因之一是在线学习系统缺乏对学习投入的精准感知。学习投入的内隐性、动态性和复杂性，给其感知带来巨大挑战。因此，在线学习投入感知已成为在线教育领域的关注焦点。基于自我报告和人工观察的传统感知方法耗时费力，已无法满足大规模在线学习需要。因此，在线学习领域迫切需要适合大规模应用的学习投入感知方法。

目前在线学习投入感知主要存在人工感知和自动感知两种思路。人工感知方法耗时费力，不适合大规模个性化在线学习应用。因此，研究者们逐渐将研究重点转向自动感知方法，以日志数据、可穿戴设备和计算机视觉的方法为三类具有代表性的自动感知方法。但是日志数据主要针对学习行为进行记录，重点呈现行为投入，在表征情感和认知投入方面存在局限。基于可穿戴设备的方法通常受制于应用环境，其易用性和经济性不高，且会给学习者带来不便和不安，不适合目前在线学习的大规模应用。基于计算机视觉的自动感知方法因其具有非接触、非侵入、低成本以及实时性好等优势，成为当前在线学习投入感知领域的重要研究方向。基于计算机视觉的方法通常利用表情、眼动、体态和生理信号等多种视觉线索感知在线学习投入。近年来，基于深度学习的特征学习方法逐渐引起重视，虽然目前的深度学习方法可以提高学习投入的识别效果，但是这些方法对多维学习投入感知缺乏足够关注。同时，基于多视觉线索的在线学习投入识别还面临着内隐投入特征难以提取、多粒度识别困难等问题。

综上所述，在线学习投入自动感知是在线教育发展的重要方向。虽然，目前已有相关研究利用表情、体态等视觉线索进行学习投入感知，但是在学习投入的多维细粒度表征、内隐动态投入特征提取，以及多粒度投入识别等方面还存在困难。

因此，本发明立足于研究内容，设计一种基于多视觉线索融合的识别方法实现在线学习投入的感知，为精准识别与感知在线学习投入提供技术支撑。

发明内容

本发明针对当前在线学习投入的多维细粒度表征、内隐动态投入特征提取以及多粒度投入识别等问题，从视觉线索入手，设计基于多视觉线索融合的在线学习投入智能感知方法评估学习者投入状态。本发明提供了一种基于多视觉线索融合的在线学习投入识别方法，为非接触、非侵扰式在线学习投入自动感知提供支撑。

本发明提供了一种基于多视觉线索融合的在线学习投入识别方法，包括如下步骤：

步骤1，从多视觉线索角度出发，构建基于多视觉线索的学习投入感知数据库；

步骤2，提取多视觉线索数据，进行学习投入感知的视觉线索分析，基于多视觉线索从不同维度构建在线学习投入表征概要模型，进行基于多视觉线索的多维投入特征提取；