[发明专利]动态手势识别方法、装置、电子设备及可读存储介质

权利要求书

1.一种动态手势识别方法，其特征在于，所述方法包括：

获取训练集，所述训练集包括正样本训练集和负样本训练集，所述正样本训练集为包括动态手势的多帧图像，所述负样本训练集为不包括动态手势的多帧图像；

基于所述正样本训练集和所述负样本训练集对初始yolov5模型进行训练，直至所述初始yolov5模型收敛，将收敛后的初始yolov5模型作为目标检测模型；

获取连续的多帧待识别图像；

通过所述目标检测模型从所述连续的多帧待识别图像中确定出连续的多帧目标图像，所述目标图像为包括预设定的动态手势的起始手型的图像，所述连续的多帧目标图像包括第一目标图像、第二目标图像以及第三目标图像；

基于所述第一目标图像和所述第二目标图像各自对应的边界框的位置属性，得到第一位置属性，所述第一位置属性为所述第一目标图像和所述第二目标图像对应的目标边界框对应的位置属性；

基于所述第二目标图像和所述第三目标图像各自对应的边界框的位置属性，得到第二位置属性，所述第二位置属性为所述第二目标图像和所述第三目标图像对应的目标边界框对应的位置属性，所述目标图像对应有所述动态手势的边界框，以及所述边界框的位置属性；

基于所述目标边界框对应的位置属性，获取所述连续的多帧目标图像各自对应的子图像，所述子图像为对所述目标图像进行分割后得到的图像，包括：获取第一子图像和第二子图像，所述第一子图像为基于所述第一位置属性获取的所述第一目标图像对应的子图像，所述第二子图像为基于所述第一位置属性获取的所述第二目标图像对应的子图像；获取第三子图像和第四子图像，所述第三子图像为基于所述第二位置属性获取的所述第二目标图像对应的子图像，所述第四子图像为基于所述第二位置属性获取的所述第三目标图像对应的子图像；

获取相邻两帧目标图像各自对应的子图像对应的光流矢量，以判断所述连续的多帧目标图像所包括的动态手势是否运动；

若所述连续的多帧目标图像所包括的动态手势是运动的，确定所述连续的多帧目标图像中的第一目标图像为动态手势的起始帧。

2.根据权利要求1所述的方法，其特征在于，所述获取相邻两帧目标图像各自对应的子图像对应的光流矢量，以判断所述连续的多帧目标图像所包括的动态手势是否运动，包括：

对所述第一子图像和所述第二子图像进行灰度化处理，得到灰度化处理后的第一子图像和第二子图像；

通过目标函数获取所述灰度化处理后的第一子图像和第二子图像对应的光流矢量；

对所述第三子图像和所述第四子图像进行灰度化处理，得到灰度化处理后的第三子图像和第四子图像；

通过目标函数获取所述灰度化处理后的第三子图像和第四子图像对应的光流矢量；

基于所述灰度化处理后的第一子图像和第二子图像对应的光流矢量，和所述灰度化处理后的第三子图像和第四子图像对应的光流矢量，判断所述连续的多帧目标图像所包括的动态手势是否运动。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标边界框对应的位置属性，获取所述连续的多帧目标图像各自对应的子图像还包括：

对所述第一目标图像和所述第二目标图像进行手部区域分割，分别得到所述第一目标图像对应的第一参考图像和所述第二目标图像对应的第二参考图像，所述第一参考图像为从所述第一目标图像中分割出的包括手部区域的图像，所述第二参考图像为从所述第二目标图像中分割出的包括手部区域的图像；

基于所述第一位置属性，获取所述第一参考图像对应的子图像；

基于所述第二位置属性，获取所述第二参考图像对应的子图像。