[发明专利]动态手势识别方法及装置

说明书

本发明实施例公开了一种动态手势识别方法及装置，其中的方法包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。本发明实施例实现对动态手势的识别。

技术领域

本发明实施例涉及图像处理技术，尤其是一种动态手势识别方法及装置。

背景技术

手势是图像与视频信息中一个重要的人机交互特征。手势识别算法核心任务是给定一张包含手的图片，判断出其中手势的类型的方法。

发明内容

本发明实施例提供一种动态手势识别方法及装置的技术方案。

根据本发明实施例一个方面，提供一种动态手势识别方法，包括：对待检测视频流中的动态手势进行定位，得到动态手势框；从所述视频流的多帧图像帧中截取与所述动态手势框对应的图像块；基于截取出的各图像块生成检测序列；根据所述检测序列进行动态手势识别。

在一种可选方式中，所述对待检测视频流中的动态手势进行定位，得到动态手势框，包括：对所述多帧图像中的至少一帧进行静态手势定位，得到所述至少一帧的静态手势框；根据所述得到的所述至少一帧的静态手势框确定所述动态手势框。

在一种可选方式中，根据所述得到的所述至少一帧的静态手势框确定所述动态手势框，包括：对所述至少一帧的静态手势框进行放大处理，得到所述动态手势框。

在一种可选方式中，所述多帧图像帧中各图像帧的静态手势框满足：静态手势框位于所述动态手势框内，或者，静态手势框与动态手势框相同。

在一种可选方式中，所述根据所述检测序列进行动态手势识别，包括：确定所述检测序列中多个帧间图像差；基于确定的多个帧间图像差生成图像差序列；根据所述检测序列和所述图像差序列识别进行动态手势识别。

在一种可选方式中，所述帧间图像差为所述检测序列中两个相邻参考帧之间的图像差。

在一种可选方式中，根据所述检测序列和所述图像差序列识别进行动态手势识别，包括：将所述检测序列输入第一动态手势识别模型，以获得所述第一动态手势识别模型输出的第一动态手势类别预测概率；将所述图像差序列输入第二动态手势识别模型，以获得所述第二动态手势识别模型输出的第二动态手势类别预测概率；根据所述第一动态手势类别预测概率和所述第二动态手势类别预测概率，确定动态手势识别结果。

在一种可选方式中，所述第一动态手势识别模型为第一神经网络，所述第二动态手势识别模型为第二神经网络，所述第一神经网络和所述第二神经网络的结构相同或不同。

在一种可选方式中，还包括：多次截取出检测序列，并多次生成图像差序列，以及多次根据检测序列以及图像差序列进行动态手势识别；根据每次动态手势识别出的动态手势类型的概率，确定出最终的动态手势识别结果。

在一种可选方式中，还包括：采用以下方法建立所述第一动态手势识别模型：采集不同类型动态手势的样本视频流；对所述不同类型动态手势的动态手势框进行标记；从样本视频流的多帧图像帧中截取与动态手势框的标注信息对应的图像块，构成图像序列；以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型。

在一种可选方式中，所述以所述动态手势类型作为监督数据，以所述图像序列作为训练数据，训练所述第一动态手势识别模型，包括：将所述图像序列分为数段；在每一段中抽取出预置帧数的图像，堆叠组成图像训练数据；以所述动态手势类型作为监督数据，以所述图像训练数据训练出所述第一动态手势识别模型。