[发明专利]手势动作识别方法、装置、设备及可读存储介质

权利要求书

1.一种手势动作识别方法，其特征在于，所述手势动作识别方法包括：

当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测；

将所述目标手指的边缘检测结果与预设手指模型进行匹配，构建所述目标手指对应的实时手指几何模型；

获取所述实时手指几何模型中所述目标手指的初始指向数据，将所述初始指向数据与所述特定区域的特定坐标数据进行匹配，生成初始位移误差；

基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差，识别所述目标手指的指向变化，以供预设指读设备基于指向识别结果对目标手指的指向做出响应；

其中，所述基于所述实时手指几何模型、预设多模态特征抽取算法与初始位移误差，识别所述目标手指的指向变化，以供预设指读设备基于指向识别结果对目标手指的指向做出响应的步骤包括：

在用户将手指指向当前所使用教材中的目标文字区域时，基于指读设备中的摄像头获取当前的目标手指图像；

使用所述预设多模态特征抽取算法，对所述目标手指图像进行局部方差计算，确定本轮迭代的全空间图像特征；

自适应计算所述全空间图像特征的局部方差的峰值所在的空间区域，并基于所述空间区域确定所述全空间图像特征中的局部空间图像特征；

将所述局部空间图像特征从所述目标手指图像中分离，将分离后的目标手指图像作为下一轮迭代所需的初始图像，并计算下一轮迭代的全空间图像特征与局部空间图像特征；

直至检测到满足预设收敛条件时，结束当前迭代过程，并基于迭代计算结果更新所述实时手指几何模型，以基于更新后的实时手指几何模型生成目标指向图像；

基于所述目标指向图像与初始位移误差，确定实际指向坐标；

根据所述实际指向坐标确定所述目标文字区域，以供所述指读设备语音朗读以及翻译所述目标文字区域。

2.如权利要求1所述的手势动作识别方法，其特征在于，所述当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测的步骤包括：

当检测到所述目标手指指向当前所使用教材的页码时，基于所述预设指读设备中的摄像头获取初始指向图像；

使用所述预设多模态特征抽取算法对所述初始指向图像中的目标手指进行边缘检测。

3.如权利要求2所述的手势动作识别方法，其特征在于，所述获取所述实时手指几何模型中所述目标手指的初始指向数据的步骤之前，还包括：

将所述实时手指几何模型与预设二维平面坐标系相匹配，以确定所述实时手指几何模型中所述目标手指对应在所述预设二维平面坐标系上的初始指向坐标数据。

4.如权利要求3所述的手势动作识别方法，其特征在于，所述将所述初始指向数据与所述特定区域的特定坐标数据进行匹配，生成初始位移误差的步骤包括：

获取所述页码在所述预设二维平面坐标系上的特定坐标数据；

将所述初始指向数据与特定坐标数据进行匹配，生成所述初始位移误差。

5.如权利要求1所述的手势动作识别方法，其特征在于，所述当检测到目标手指指向预设摄像设备检测范围内书本的特定区域时，基于预设多模态特征抽取算法对目标手指进行边缘检测的步骤之前，还包括：

对结合所述指读设备所使用的书本的内容进行数码化匹配。