[发明专利]一种听写报读的智能控制方法及终端设备

权利要求书

1.一种听写报读的智能控制方法，其特征在于，包括：

在终端设备报读完当前听写单元后，控制内置于所述终端设备的眼睛聚焦检测装置检测用户眼睛的聚焦点位置；

当所述聚焦点位置位于所述终端设备的屏幕上时，获取所述当前听写单元的下一个听写单元，并控制报读所述下一个听写单元；

当所述聚焦点位置没有位于所述终端设备的屏幕上时，控制重复报读所述当前听写单元。

2.根据权利要求1所述的方法，其特征在于，当所述聚焦点位置没有位于所述终端设备的屏幕上时，以及所述控制重复报读所述当前听写单元之前，所述方法还包括：

控制内置于所述终端设备的摄像头拍摄用户的坐姿视频图像；

通过图像识别技术识别所述坐姿视频图像中用户头部是否处于用于表示用户在书写所述当前听写单元的低垂状态；

当识别到所述坐姿视频图像中用户头部处于所述低垂状态时，基于所述坐姿视频图像检测所述用户头部处于所述低垂状态的持续时长；

当所述聚焦点位置没有位于所述终端设备的屏幕上且所述持续时长大于或等于第一预设时长时，执行所述控制重复报读所述当前听写单元的步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述聚焦点位置没有位于所述终端设备的屏幕上时，检测用户手持的书写笔的顶部发光体发射的光线，并根据所述光线识别所述终端设备与所述书写笔的空间距离；

根据所述空间距离判断所述书写笔是否处于移动状态；

当判断出所述书写笔处于移动状态时，确定用户手持所述书写笔处于书写所述当前听写单元的书写状态；

所述当所述聚焦点位置没有位于所述终端设备的屏幕上且所述持续时长大于或等于第一预设时长时，控制重复报读所述当前听写单元，包括：

当所述聚焦点位置没有位于所述终端设备的屏幕上、所述持续时长大于或等于第一预设时长且所述书写笔处于移动状态时，控制重复报读所述当前听写单元。

4.根据权利要求1至3任一项所述的方法，其特征在于，当所述聚焦点位置位于所述终端设备的屏幕上时，以及所述获取所述当前听写单元的下一个听写单元，并控制报读所述下一个听写单元之前，所述方法还包括：

检测用户眼睛在所述聚焦点位置上的停留时长是否大于或等于第二预设时长；

当所述聚焦点位置位于所述终端设备的屏幕上且所述停留时长大于或者等于所述第二预设时长时，执行所述获取所述当前听写单元的下一个听写单元，并控制报读所述下一个听写单元的步骤。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述在终端设备报读完当前听写单元后，控制内置于所述终端设备的眼睛聚焦检测装置检测用户眼睛的聚焦点位置，包括：

在终端设备报读完当前听写单元后，控制内置于所述终端设备的摄像头采集用户的头部图像，利用预设的人眼视线估计模型分析所述头部图像，以获得用户眼睛的聚焦点位置；

所述方法还包括：

在终端设备报读所述当前听写单元之前，采集海量终端设备样本拍摄的人体头部图像样本；

基于人脸关键点定位算法确定所述人体头部图像样本中的关键点位置，其中，所述关键点位置包括左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点以及嘴巴右角点；

以所述关键点位置为依据，对所述人体头部图像样本进行剪裁得到左眼图像、右眼图像、脸部图像，并确定所述脸部图像在所述人体头部图像样本中的位置信息；

根据所述左眼图像、所述右眼图像、所述位置信息与人眼视线方向之间的映射关系，得到人眼视线聚焦点的位置坐标；

以所述左眼图像、所述右眼图像、所述脸部图像、所述位置信息以及所述位置信息相对于所述终端设备样本前置摄像头位置的物理坐标作为输入量，以所述人眼视线聚焦点的位置坐标作为输出量，采用卷积神经网络对所述输入量与所述输出量进行训练，得到所述人眼视线估计模型。