[发明专利]一种自适应的主动式信息交互教育方法

权利要求书

1.一种自适应的主动式信息交互教育方法，其特征在于，包括如下步骤：

步骤一：构建学习环境数据库，并对每种学习环境进行场景类别的划分，并构建训练数据集；将训练数据集输入到基于机器学习的学习环境识别模型，以类别信息作为所述学习环境识别模型的监督信息，进行学习环境识别模型的训练；

构建学习内容数据库，并对每个学习内容的图片和声音信号建立关联关系，构建学习内容识别模型；将学习内容输入到学习内容识别模型，以图片作为学习内容识别模型的监督信息，进行学习内容识别模型的训练；

构建视频数据库，并对视频内容进行文字描述；输入视频到基于机器学习的视频识别模型，以文字描述作为所述视频识别模型的监督信息，进行视频识别模型的训练；

构建图像数据库，并对图像内容进行文字描述；输入图像到基于机器学习的图像识别模型，以文字描述作为所述图像识别模型的监督信息，进行图像识别模型的训练；

构建学习者的状态数据库，并根据学习者的状态对注意力打标，构建训练数据集，以注意力作为监督信息，训练基于机器学习的注意力识别模型；

步骤二：对学习者所处的学习环境的声音、光线以及学习者所持设备的晃动进行检测，并将检测结果输入训练后的学习环境识别模型，得到学习者所处的场景；结合学习者所处的学习者所处场景、学习环境的声音、光线以及学习者所持设备的晃动，自适应地切换音频到视频的辅助呈现或视觉信息到音频的辅助呈现方式；

同时，实时辨识学习者的注意力状态，结合学习者所处的场景、学习环境的声音、光线以及学习者所持设备的晃动，给出提示信息，并自动切换合适的场景，以最大化注意力集中程度。

2.根据权利要求1所述的自适应的主动式信息交互教育方法，其特征在于，所述自适应地切换音频到视频的辅助呈现方式，通过如下方式来实现：

加载语音识别引擎，对学习者学习的音频内容进行识别，通过语音识别自动生成字幕文字，在学习者所持设备的屏幕上显示字幕文字；将学习者学习的音频内容输入训练后的学习内容识别模型，获得学习者学习的音频内容对应的图片，并将其显示在学习者所持设备的屏幕上，进行音频内容的辅助视觉呈现。

3.根据权利要求1所述的一种自适应的主动式信息交互教育方法，其特征在于，

自适应地切换视觉信息到音频的辅助呈现方式，通过如下方式来实现：

加载训练后的视频识别模型或图像识别模型，通过对学习者学习的视频或图像内容识别，自动生成描述视频或图像内容的文字描述；加载文字识别引擎，对学习者学习的视觉信息中的文字进行识别；将所述文字描述和识别出的学习者学习的视觉信息中的文字进行时间线上的整合后，通过语音合成引擎，合成文字的音频内容进行播放。

4.根据权利要求1所述的自适应的主动式信息交互教育方法，其特征在于，

辨识学习者的当前的状态，输入训练后的注意力识别模型，获得学习者的注意力集中等级；当学习者的注意力集中等级低于设定阈值，给出相应的提示信息。

5.根据权利要求1所述的自适应的主动式信息交互教育方法，其特征在于，所述学习者的状态包括人脸转动和移动轨迹、眼动状态、视线方向估计、人脸表情、头部姿态、上半身姿态，屏幕和外设操作行为。