[发明专利]绘本识别方法、装置、系统及存储介质

权利要求书

1.一种绘本识别方法，其特征在于，包括：

获取图像采集设备采集的拍摄图像；

从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板；

确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上；

其中，从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板时，分别提取N种分辨率下所述拍摄图像的特征点和每个特征点的特征向量；根据投影设备当前投影的投影画面的特征点，分别对每种分辨率下提取的拍摄图像的特征点进行过滤，以过滤出不受投影画面干扰的特征点；按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配，在一种分辨率下确定出与所述拍摄图像匹配的绘本模板时，停止匹配操作，并将匹配的绘本模板确定为所述目标绘本模板。

2.根据权利要求1所述的方法，其特征在于，所述依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配中，针对每种分辨率，将该分辨率P_n下提取的所述拍摄图像的特征点对应的特征向量与该分辨率P_n下提取的每个绘本模板的特征点对应的特征向量进行匹配，具体包括：

按照绘本模板的匹配顺序，确定当前处理的绘本模板T_m；

针对所述拍摄图像在分辨率P_n下提取的每个特征点，分别计算该特征点对应的特征向量与所述绘本模板T_m在分辨率P_n下提取的每个特征点对应的特征向量之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的所述拍摄图像的特征点i和所述绘本模板T_m的特征点j构成一个特征点对（i，j），并添加到所述绘本模板T_m对应的点对集合中；

若所述绘本模板T_m对应的点对集合中的点对数量小于第一数量阈值，则确定所述绘本模板T_m与所述拍摄图像不匹配，并按照所述绘本模板T_m的匹配顺序对下一个处理的绘本模板进行匹配，否则，确定所述绘本模板T_m与所述拍摄图像匹配。

3.根据权利要求2所述的方法，其特征在于，所述将匹配的绘本模板确定为所述目标绘本模板之前，所述方法还包括：

从所述绘本模板T_m对应的点对集合中获取预设数量个点对；

根据所述预设数量个点对，确定表征所述拍摄图像和所述绘本模板T_m之间的坐标映射关系的单应矩阵；

针对所述绘本模板T_m对应的点对集合中每个点对（i，j），根据所述单应矩阵，确定特征点i在所述绘本模板T_m中的期望坐标，并计算特征点i的期望坐标和特征点j在所述绘本模板T_m中的坐标之间的距离值；

若小于误差阈值的距离值的数量大于第二数量阈值，则确定所述绘本模板T_m通过几何验证；

所述将匹配的绘本模板确定为所述目标绘本模板，具体包括：

若确定所述绘本模板T_m通过几何验证，则将所述绘本模板T_m确定为所述目标绘本模板。

4.根据权利要求2所述的方法，其特征在于，通过如下方式确定绘本模板的匹配顺序：

按绘本模板对应的页码从小到大的顺序，确定绘本模板的匹配顺序；或

分别计算每个绘本模板的编码向量与所述拍摄图像的编码向量之间的相似度，按编码向量的相似度从高到低的顺序，确定绘本模板的匹配顺序，其中，每个绘本模板的编码向量为根据每个绘本模板的特征点确定的，所述拍摄图像的编码向量为根据所述拍摄图像的特性点确定的；或

根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序。