[发明专利]字符识别方法、装置、电子设备及存储介质

权利要求书

1.一种字符识别方法，包括：

在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；

基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；

基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。

2.根据权利要求1所述的方法，其中，所述基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符，还包括：

若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。

3.根据权利要求1所述的方法，其中，所述基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符，还包括：

基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；

在展示界面中展示所述候选字符；

若从实时采集的第三帧图像中识别到第三类手势，则将从所述第三帧图像中识别到的手部的区域位置所对应的候选字符作为所述目标字符。

4.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：

基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。

5.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：

获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；

基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。

6.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：

获取第二类训练数据；其中，所述第二类训练数据包括：标注有对应的字符的训练视频、以及所述训练视频中的帧图像所对应的指尖的位置信息组成的轨迹数据；

采用所述第二类训练数据对第二模型进行迭代训练，得到迭代训练后的第二模型。

7.一种字符识别装置，包括：

第一识别模块，用于在从实时采集的第一帧图像中识别到第一类手势的情况下，基于第一模型从所述第一帧图像之后实时采集的帧图像中检测指尖的当前位置信息；基于所述指尖的当前位置信息更新所述指尖的当前轨迹数据；

第二识别模块，用于基于第二模型对所述指尖的所述当前轨迹数据进行处理，得到目标字符。

8.根据权利要求7所述的装置，其中，所述第二识别模块，用于若从实时采集的第二帧图像中识别到第二类手势，则基于第二模型对所述指尖的所述当前轨迹数据进行识别，得到目标字符。

9.根据权利要求7所述的装置，其中，所述第二识别模块，用于基于第二模型对所述指尖的所述当前轨迹数据进行预测，得到当前轨迹数据对应的候选字符；在展示界面中展示所述候选字符；若从实时采集的第三帧图像中识别到第三类手势，则将从所述第三帧图像中识别到的手部的区域位置所对应的候选字符作为所述目标字符。

10.根据权利要求7-9任一项所述的装置，其中，所述第一识别模块，用于基于第一模型从实时采集的帧图像中识别手部的区域位置、手势类型、指尖的位置信息中至少之一。

11.根据权利要求7-9任一项所述的装置，其中，所述第一识别模块，用于获取第一类训练数据；其中，所述第一类训练数据中包含标注有手部的区域位置、手势类型、指尖的位置信息的视频的帧图像；基于所述第一类训练数据对第一模型进行迭代训练，得到迭代训练后的第一模型。