[发明专利]一种数字助教系统、信息交互方法和信息处理方法

权利要求书

1.一种数字助教系统，其特征在于，包括：数字助教学生端、智能导读子系统、互动答疑子系统、状态检测子系统和数字助教数据库；所述数字助教学生端分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；所述数字助教数据库分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；

所述数字助教学生端，用于采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；所述智能导读子系统，用于主动定位匹配学习者的资料；所述互动答疑子系统，用于与学习者对话，解答学习者提问；所述状态检测子系统，用于提供学习者的学习状态数据；所述数字助教数据库，用于保存所学科目的专业知识数据、学生情况数据与学习环境数据，为智能导读、互动答疑与状态检测提供数据支持；

所述数字助教系统还包括：数字助教教师端和学生分析子系统，所述数字助教教师端和所述学生分析子系统连接，所述数字助教教师端与所述数字助教学生端连接；所述数字助教教师端用于与所述数字助教学生端交互，获取学生学习情况，与教师或管理机构交互；所述学生分析子系统，用于提供学生知识掌握情况与学习状态；

所述智能导读子系统包括：第一用户交互单元和第一信息处理单元；

所述第一用户交互单元，用于获取用户输入，调用数字助教数据，调用智能导读子系统信息处理单元，输出与用户匹配的知识点位置；

所述第一信息处理单元，用于根据所获取的用户输入、数字助教数据，对其进行自然语言处理与机器学习，形成结构化的标记语料数据，采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置；

所述互动答疑子系统包括第二用户交互单元和第二信息处理单元；

所述第二用户交互单元，用于获取用户输入，调用数字助教数据，调用第二信息处理单元及输出与用户问题匹配度最高的解答；

所述第二信息处理单元，用于根据所获取的用户输入、数字助教数据，进行自然语言处理与机器学习，形成结构化的标记语料，采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答；

所述互动答疑子系统通过情感识别的方法，对学习者的学习状态进行实时检测；对学习者多个维度的数据进行采集，实时采集学习者的人脸数据、音频数据和脑电信号数据，采用深度学习和公开情感数据集训练出的情感识别模型，对学习者的状态进行实时检测、分析；

所述互动答疑子系统通过深度可分离卷积神经网络训练人脸情感识别模型；所述人脸情感识别模型包括：9个卷积层、ReLU激活函数、批归一化层和全局平均池化层；所述人脸情感识别模型包含4个深度可分离卷积结构，每个卷积结构后边连接一个批归一层和一个ReLU激活函数，最后一层使用全局平均池化层和soft-max分类函数进行分类；

所述学生分析子系统包括第三用户交互单元和第三信息处理单元；

所述第三用户交互单元，用于获取教师端用户输入，调用数字助教学生端数据，调用学生分析子系统信息处理单元以及输出用户学习大数据；用户输入包括用户操作数据；调用的数字助教学生端数据包括所述智能导读子系统的操作记录、互动答疑子系统的操作记录以及状态检测子系统输出的学生状态数据以及学生情况；用户学习大数据包括学生信息、知识基础、学习兴趣、学习态度、认知能力与违纪情况；

所述第三信息处理单元，用于根据所获取的用户输入、数字助教学生端数据，进行统计分析与数据挖掘，计算并输出用户学习大数据；

所述学生分析子系统使用人体姿态估计机器学习模型OpenPose来识别沙盘教学环境中的违纪情况的行为动作。