[发明专利]基于手势识别的多媒体教学方法与系统

说明书

本发明提供了基于手势识别的多媒体教学方法与系统，其通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。

技术领域

本发明涉及多媒体教学的技术领域，特别涉及基于手势识别的多媒体教学方法与系统。

背景技术

多媒体教学通常是利用AR设备或者投影仪等设备显示教学视频的方式来实现声音与图像的互动教学。在多媒体教学过程中，不同学生对于教学视频的显示亮度等参数高低存在不同需求。为了使学生能够获得最优显示状态的教学视频，这需要学生根据自身实际需要来调整多媒体教学设备的显示参数。但是在多媒体教学过程中学生通常是专注于观看教学视频，这使得学生无法快速和准确调整多媒体教学设备的显示参数，这不利于改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。

发明内容

针对现有技术存在的缺陷，本发明提供基于手势识别的多媒体教学方法与系统，其采集多媒体教学终端所处环境四周的声音信息；分析声音信息后得到声音信息对应的声音强度分布信息以及识别声音信息对应的语义信息；再根据语义信息，控制多媒体教学终端显示界面的显示状态；根据声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据相对位置，拍摄学生在观看显示界面过程中的动作影像；最后分析动作影像，确定学生的左手动作状态和右手动作状态；根据左手动作状态，调整显示界面当前显示的视频的音量；根据右手动作状态，调整显示界面当前显示的视频的画面亮度；可见，该基于手势识别的多媒体教学方法与系统通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。

本发明提供基于手势识别的多媒体教学方法，其特征在于，其包括如下步骤：

步骤S1，采集多媒体教学终端所处环境四周的声音信息；分析所述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息；再根据所述语义信息，控制多媒体教学终端显示界面的显示状态；

步骤S2，根据所述声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据所述相对位置，拍摄学生在观看显示界面过程中的动作影像；

步骤S3，分析所述动作影像，确定学生的左手动作状态和右手动作状态；根据所述左手动作状态，调整显示界面当前显示的视频的音量；根据所述右手动作状态，调整显示界面当前显示的视频的画面亮度；

进一步，在所述步骤S1中，采集多媒体教学终端所处环境四周的声音信息；分析所述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息；再根据所述语义信息，控制多媒体教学终端显示界面的显示状态具体包括：

步骤S101，利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息；并对所述声音信息进行卡尔曼滤波处理，从而剔除所述声音信息包含的背景噪声；

步骤S102，对所述声音信息进行声音强度波形分析，从而提取得到所述声音信息对应的声音强度波峰分布；对所述声音信息进行语义识别，从而提取得到所述声音信息对应的语义信息；