[发明专利]提高绘本点读识别结果可靠性的方法及装置

说明书

本发明涉及实现一种提高绘本点读识别结果可靠性的方法及装置，使得绘本点读识别过程中，通过利用连续的多次(2次或多于2次)识别结果，进行识别结果融合，给用户输出极高精度的结果，从而提升用户使用体验。

技术领域

本发明涉及一种提高绘本点读识别结果可靠性的方法及装置，可有效改善采用智能终端等设备识别绘本等书籍的精度。

背景技术

对于绘本(每页配合文字均有大面积的图画)等书籍，使用智能手机或其它带摄像头的设备，配合图像识别软件自动定位书籍中某个书页的页码和手指头所指位置，并自动播放手指所指位置的多媒体资源。

整个装置由4部分组成：智能手机等终端，安装于终端上的软件，外接在终端前置摄像头位置上的反射镜，将终端固定在特定角度的支架。放置在支架前面桌面上的绘本等书籍的页面，通过反射镜被终端前置摄像头拍摄图像后，图像识别软件自动定位书籍中某个书页的页码和手指头所指位置，并自动播放手指所指位置的多媒体资源。

绘本点读装置所包含的图像识别软件，其主要功能是利用终端设备的摄像头拍摄的书页图像(可能包括手指)，使用人工智能的相关图像识别模型和算法，识别出书页图像对应的书籍页码，以及检测用户手指所指位置在书籍页面中的对应位置，从而获取书籍页面或手指位置所对应的多媒体资源，自动播放给用户。

由于①书籍中可能存在相似页面，②书籍页面在摆放时存在翘曲等几何变形，③摄像头在拍摄书页图像时会存在镜头变形、环境光影响等多种不可控因素，再叠加④目前人工智能各种识别算法并不完美，还存在一定的错误率；这些因素共同作用，导致目前识别算法对书籍页面的识别精度和手指有无和手指位置的检测精度达不到理想的性能，单次识别一般只能达到90％左右的精度，如果直接使用单次识别结果，用户使用时识别错误概率会达到约10％的概率，体验会很差。

因此，如何使识别错误不影响用户体验，提升用户使用体验，是目前迫切需要解决的技术问题。

发明内容

本发明的目的在于设计一种提高绘本点读识别结果可靠性的方法及装置，使得绘本点读识别过程中识别错误不影响用户体验，提升用户使用体验。

其中，所述终端中提高绘本点读识别结果可靠性的方法，包括步骤：1)开启书籍点读功能，设置页面状态cp1的初始值为空；

2)计数器初始化，设置计数器n＝1；

3)设置定时器的定时间隔时间⊿t，每隔一段时间⊿t或在上次识别结束后，通过终端中的摄像头拍摄书页图像，并对所述拍摄图像进行书页识别，同时对所述拍摄图像中手指的有无和手指位置进行检测；其中，将识别对应的书籍书页记为p1；

4)将所述书籍书页p1与页面状态cp1进行判断比较；判断所述p1是否等于cp1；若所述判断结果为否，则执行步骤5)，判断结果为是，则执行步骤6)；

5)将所述cp1设置为p1，返回步骤2)；

6)将所述n累加1；

7)判断所述n是否大于等于事先设定的次数N，所述N大于等于2；若判断结果为否，则返回执行步骤3)；若判断结果为是，则执行步骤8)；

8)输出可靠的书页识别结果为p1。

所述的方法，还包括：在得到可靠的书页识别结果输出后，更新系统中记录的当前的书页状态。

进一步，如果本次识别书页的识别结果与之前连续N-1次的书页识别结果不相同，则不输出本次识别结果或标记本次识别结果不可靠。