[发明专利]一种基于图卷积神经网络的教师非言语行为检测方法

说明书

本发明属于人工智能教育应用领域，具体设计了一种基于图卷积神经网络的教师非言语行为识别方法，旨在解决课堂场景下教师非言语行为检测问题。该方法以课堂录播视频数据作为输入，以“象征性动作”、“会意性动作”、“指示性动作”、“评价性动作”和“适应性动作”等五种教师非言语行为检测结果作为输出。首先使用目标算法确定教师位置并提取教师图像；然后采用人体姿态估计算法对教师图像分析，获取教师骨架点坐标；最后根据骨架点坐标信息及骨架点间的物理连接和逻辑连接关系，构建图卷积神经网络模型，实现教师非言语行为识别。本发明能够有效提升教师非言语行为识别的精度，有助于解决教师非言语行为自动识别难题，助力教师优化教学策略。

技术领域

本发明属于人工智能教育应用领域，具体设计了一种基于图卷积神经网络的教师非言语行为识别方法，可用于解决教师非言语行为检测的问题。

背景技术

随着人工智能技术的发展，将人工智能技术应用于教育和教学过程，促进教育事业的发展，提升教学质量已成为教育领域研究的热点问题。在教育信息化2.0时代，教育信息化已然步入了新的发展进程，移动互联网、大数据、人工智能等新兴教育技术手段的大规模应用正在积极推进智慧校园的建立和完善。在教育信息化的众多应用中，利用人工智能技术识别教师非言语行为，促进教师改善教学方式，是一个值得研究的课题。目前对教师非言语行为的研究大多通过人工随堂听课、问卷调查或量表等方法进行实证研究，该方法实时性差、人工作业量大。得益于智慧教室中录像、直播设备的普及，基于课堂视频数据的教师非言语行为硬件条件已经成熟。依托大量可获取的教学视频，结合具体教学场景，探究基于深度学习技术的教师非言语行为自动识别，能够及时评估教师教学状态，改善教师教学质量。

教师行为是指在教师教学过程中，为了达到预期的教学目的，通过语言或者非语言的动作、表情乃至声调等向学生传递信息的具体行为[1]，主要有言语行为与非言语行为两种形式。从教师非言语行为的已有研究中发现，其研究思路主要为从实证出发进行研究。研究者常用手段包括问卷调查、课堂参与性观察、授课教师访谈等，对于收集到的教师数据一般采用统计学方法进行分析[2-3]。随着录像技术的不断普及，研究者们越来越关注课堂教学视频在教育研究中的应用 [4]。同时，由于课堂视频包含信息量过于丰富，通过观看完整视频录像并准确地选出重点教学行为会耗费教师过多的时间与精力[5-8]，急需利用人工智能等技术提升教师非言语行为识别的自动化程度。在当前的人工智能教育应用领域中，大多数学者以学生为研究对象[9-12]，而对教师非言语行为的研究较少。在已有的研究中，闫晓炜[13]等使用了YOLO算法完成了教师肢体动作的识别，丁宁[14] 采用VGG-16卷积神经网络对教师的讲授、板书、指令等动作进行检测。在复杂的课堂场景中，准确有效地识别教师非言语行为还存在一定的困难。一是拍摄时容易受到摄像机型号、架设位置和角度以及光照的影响，视频质量难以保障；二是教室场景复杂度高，教师易被遮挡。针对上述问题，本发明基于视频数据构建了教师非言语行为识别数据集，综合目标检测、骨架点提取和图卷积神经网络等算法来提升教师非言语行为识别的精度。

[1]林正范,徐丽华.对教师行为研究的认识[J].教师教育研究,2006(02):23-26.

[2]于淮.大学教师课堂非言语行为对课堂气氛的影响[J].新西部(下半月),2009(01):215+210.

[3]白学军,梁菲菲,张涛,田丽娟,文宇翔,陈宗阳.不同获奖等级青年教师手势语的量化研究[J].宁波大学学报(教育科学版),2009,31(04):48-53.

[4]王佳莹,郭俊杰.视频标注工具:支持教师的教学反思[J].中国电化教育,2013(07):111-117.

[5]Gaudin Cyrille,Chaliès Sébastien.Video viewing in teachereducation and professional development:A literature review[J].EducationalResearch Review， 2015,16:41-67.