[发明专利]一种点读终端的音频播放方法、装置、点读终端及介质

权利要求书

1.一种点读终端的音频播放方法，其特征在于，包括：

获取目标书籍的内页图像，并根据所述内页图像从本地数据库中确定出相应的参考图像和目标音频集合；

基于所述内页图像和所述参考图像构建单应矩阵；

将从所述内页图像中选取的目标图像输入已训练好的位置预估模型，得到预估位置信息，并基于所述预估位置信息与所述单应矩阵，从所述参考图像中确定出目标位置信息；

根据所述目标位置信息从所述目标音频集合中确定出目标音频文件；

播放所述目标音频文件。

2.根据权利要求1所述点读终端的音频播放方法，其特征在于，所述基于所述内页图像和所述参考图像构建单应矩阵，包括：

在所述内页图像中和所述参考图像中分别构建相同的坐标系；

基于所述坐标系，分别从所述内页图像和所述参考图像中确定出匹配的点对信息；

根据所述点对信息构建3×3的齐次矩阵H，并将所述齐次矩阵H识别为单应矩阵H。

3.根据权利要求2所述点读终端的音频播放方法，其特征在于，所述将从所述内页图像中选取的目标图像输入已训练好的位置预估模型，得到预估位置信息，并基于所述预估位置信息与所述单应矩阵，从所述参考图像中确定出目标位置信息，的步骤之前，还包括：

获取样本书籍的内页样本图像，并基于所述内页样本图像构建样本图像集合；其中，所述样本图像集合中的每张样本图像中均包含所述点读终端的笔尖位置；

利用所述样本图像集合训练预先构建的位置预估模型，得到已训练好的位置预估模型。

4.根据权利要求3所述点读终端的音频播放方法，其特征在于，所述目标图像中包含所述点读终端的当前笔尖位置；

所述将从所述内页图像中选取的目标图像输入已训练好的位置预估模型，得到预估位置信息，并基于所述预估位置信息与所述单应矩阵，从所述参考图像中确定出目标位置信息，包括：

获取从所述内页图像中选取的目标图像；

将所述目标图像输入已训练好的位置预估模型，通过所述已训练好的位置预估模型根据所述目标图像中所述点读终端的当前笔尖位置得到预估位置信息；

基于所述预估位置信息与所述单应矩阵，从所述参考图像中确定出目标位置信息。

5.根据权利要求4所述点读终端的音频播放方法，其特征在于，所述基于所述预估位置信息与所述单应矩阵，从所述参考图像中确定出目标位置信息，包括：

通过以下公式测算得到目标位置信息；

其中，H为所述单应矩阵，(u1，v1，1)为所述预估位置信息，(u2，v2，1)为所述目标位置信息。

6.根据权利要求1至5任一项所述点读终端的音频播放方法，其特征在于，所述获取目标书籍的内页图像的步骤之前，还包括：

采集目标书籍的封面图像；

将所述封面图像发送至服务器，并接收所述服务器根据所述封面图像返回的目标书籍标识；

根据所述目标书籍标识从所述服务器中下载相应的目标文件集合；

将所述目标文件集合关联存储至本地数据库中。

7.根据权利要求6所述点读终端的音频播放方法，其特征在于，所述采集目标书籍的封面图像，包括：

当检测到用于执行点读功能的预设指令时，调用点读终端的图像采集组件实时采集图像数据，得到图像集合；

基于预设的第一图像确定策略从所述图像集合中确定出封面图像；

所述获取目标书籍的内页图像，包括：

基于预设的第二图像确定策略从所述图像集合中确定出所述目标书籍的内页图像。