[发明专利]基于图像识别追踪技术的点读问答方法与系统

权利要求书

1.一种基于图像识别追踪技术的点读问答方法，其特征在于：

该方法包括点读模式和问答模式；

当设置为点读模式时，点读问答装置（3）对摄像装置（2）采集的页面（6）和点读指点件（1）的图像进行识别，判断用户是否通过点读指点件（1）点击了当前页面（6）上预设的触发区域（6.1），若判断结果为真，则播放预先录制的与该触发区域（6.1）相对应的点读音频；

当设置为问答模式时，点读问答装置（3）对摄像装置（2）采集的页面图像进行识别，播放预先录制的与当前页面（6）对应的问题音频，提示用户点击当前页面（6）上预设的与问题答案相对应的触发区域（6.1），并通过图像识别判断用户是否通过点读指点件（1）点击了该触发区域（6.1），返回判断结果语音；

所述点读指点件（1）包括供用户握持的手持部（1.1）和作为识别区域供图像识别的识别部（1.2）；

该方法通过如下步骤判断点读指点件（1）是否进行了点击动作：计算点读指点件（1）的识别区域与页面（6）在摄像装置（2）实时获得的图像上的实时面积比z，并与刚好触发点击时的临界面积比z₁进行比较，若z≤z₁，则判断点读指点件（1）进行了点击动作。

2.根据权利要求1所述的基于图像识别追踪技术的点读问答方法，其特征在于：该方法通过如下步骤判断点读指点件（1）是否进入触发区域（6.1）：追踪点读指点件（1）在页面坐标系上的坐标，当点读指点件（1）前端一个点或多个点进入触发区域（6.1）的坐标范围时，判断点读指点件（1）进入了该触发区域（6.1）。

3.根据权利要求1所述的基于图像识别追踪技术的点读问答方法，其特征在于：所述临界面积比z₁设置为点读指点件（1）的识别区域与页面（6）的物理面积比z₀的1~1.8倍。

4.根据权利要求1所述的基于图像识别追踪技术的点读问答方法，其特征在于：该方法通过摄像装置（2）实时采集当前页面（6）和点读指点件（1）的图像，通过图像识别模块（3.1）识别当前所在页面（6），通过位置追踪模块（3.3）获得点读指点件（1）在当前页面（6）上的相对位置并判断点读指点件（1）是否对页面（6）上预设的触发区域（6.1）进行了点击动作。

5.根据权利要求1~4中任一项所述的基于图像识别追踪技术的点读问答方法，其特征在于：所述点读模式和问答模式通过如下方法进行自动切换：当检测到特定页面（6）时，点读问答装置（3）自动切换为点读模式或问答模式。

6.根据权利要求5所述的基于图像识别追踪技术的点读问答方法，其特征在于：所述特定页面（6）为封面和封底，当检测到封面时，点读问答装置（3）自动切换为点读模式，检测到封底时则自动切换为问答模式。

7.根据权利要求1~4中任一项所述的基于图像识别追踪技术的点读问答方法，其特征在于：所述点读模式和问答模式通过如下方法进行自动切换：在特定页面（6）上设置用于自动切换点读模式或问答模式的模式切换图形，当点读问答装置（3）识别到模式切换图形或者检测到用户点击模式切换图形时，自动切换为与该模式切换图形对应的点读模式或问答模式。

8.根据权利要求1~4中任一项所述的基于图像识别追踪技术的点读问答方法，其特征在于：所述点读模式在页面（6）打开后等待用户动作的过程中播放预先录制的与该页面（6）关联的默认音频。

9.根据权利要求1~4中任一项所述的基于图像识别追踪技术的点读问答方法，其特征在于：该方法还包括为出版物制作点读问答数据包的过程，其步骤为：

1）采集点读问答系统所需页面（6）的电子图片；

2）通过图像识别模块（3.1）提取页面（6）的图像特征；

3）在页面（6）的电子图片上设定闭合区域作为触发区域（6.1）；

4）录制与触发区域（6.1）对应的点读音频和问题音频，并建立音频与触发区域（6.1）之间的关联。