[发明专利]人机交互系统、方法、服务器、交互控制设备及存储介质

权利要求书

1.一种人机交互系统，其特征在于，包括：教学播放终端、交互控制设备以及服务器；

所述教学播放终端，用于根据所述交互控制设备的教学播放指令，从所述服务器获取对应教学内容并在其屏幕上播放所述教学内容；

所述交互控制设备，用于在所述教育播放终端播放所述教学内容期间，利用其摄像头采集包含学习者在内的视频数据，并上传至所述服务器；

所述服务器，用于从所述视频数据中识别所述学习者的姿态数据和/或表情数据；根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；将所述学习状态信息发送给所述教学播放终端；

所述教育播放终端还用于：在播放所述教学内容期间，在其屏幕上同步显示所述学习者的学习状态信息。

2.根据权利要求1所述的系统，其特征在于，所述教学播放终端为智能电视，所述交互控制设备为带有手写屏幕的学习板。

3.一种人机交互方法，其特征在于，包括：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。

4.根据权利要求3所述的方法，其特征在于，所述视频数据还包含学习者的语音数据，则所述方法还包括：

对所述语音数据进行语音流畅度识别，得到所述学习者的语音流畅度；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息，包括：

根据所述姿态数据和/或表情数据，结合所述学习者的语音流畅度，生成所述学习者的学习状态信息。

5.根据权利要求3所述的方法，其特征在于，从所述视频数据中识别所述学习者的姿态数据，包括：

从所述视频数据中，识别所述学习者的头部姿态、坐姿姿态、写字姿势和握笔姿势中的至少一种。

6.根据权利要求3所述的方法，其特征在于，还包括：

根据所述学习者学习状态信息，跟踪所述学习者在教学内容播放期间的学习状态变化趋势；

将所述学习状态变化趋势发送给所述教学播放终端，以使所述教学内容播放终端同步显示所述学习状态变化趋势。

7.根据权利要求6所述的方法，其特征在于，还包括：

将所述学习者的学习状态信息和/或学习状态变化趋势同步给家长和/或老师预先绑定的终端设备，以使所述家长和/或老师通过其终端设备查看所述学习者的学习状态信息和/或学习状态变化。

8.根据权利要求3至6任一项所述的方法，其特征在于，从所述视频数据中识别所述学习者的姿态数据和/或表情数据包括：

采用姿态识别模型从所述视频数据中识别所述学习者的姿态数据和/或采用或面部表情识别模型从所述视频数据中识别所述学习者的表情数据。

9.根据权利要求3至6任一项所述的方法，其特征在于，所述教学播放终端为智能电视，所述交互控制设备为带有手写屏幕的学习板。

10.一种服务器，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。