[发明专利]一种图像处理方法、装置和电子设备

说明书

本发明实施例提供了一种图像处理方法、装置和电子设备，其中，所述方法包括：监测到摄像头采集的视频中存在运动对象时，提取所述运动对象运动的图像序列；依据所述图像序列和识别模型进行运动轨迹识别，确定所述运动对象对应运动轨迹的类别，所述类别包括动态手势类别；进而通过采用识别模型进行动态手势识别，提高识别效率，且无需采用深度摄像头采集视频，能够降低成本。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种图像处理方法、装置和电子设备。

背景技术

手势识别是人机交互的重要组成部分，随着识别技术的发展，手势识别被应用在多个领域，如应用在视频直播领域，在视频直播程中，结合用户的手势(如点赞、比心)，实时增加相应的贴纸或特效；又例如应用智能家居领域，通过用户的手势控制对应的功能；还例如应用在驾驶领域，使用手势来控制车内的各种功能、参数，一定程度上解放双眼，将更多的注意力放在道路上，提升驾车安全性；等等。

其中，手势识别的准确性，影响着人机交互的自然性和灵活性；目前，为提高手势识别的准确性，大多数手势识别的方案大多基于深度摄像头采集图像，再采用获取的图像进行三维建模，得到手势的三维模型；然后基于建立的三维模型识别手势。但是深度摄像头的成本较高，且三维建模是的识别速度较慢，从而导致动态手势识别的成本高、识别效率低。

发明内容

本发明实施例提供一种图像处理方法，以降低动态手势识别成本且提高识别效率。

相应的，本发明实施例还提供了一种图像处理装置和一种电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种图像处理方法，具体包括：监测到摄像头采集的视频中存在运动对象时，提取所述运动对象运动的图像序列；依据所述图像序列和识别模型进行运动轨迹识别，确定所述运动对象对应运动轨迹的类别，所述类别包括动态手势类别。

可选地，所述提取所述运动对象运动的图像序列，包括：从当前时刻开始，提取所述视频对应视频数据中N帧视频图像生成图像序列，其中，N为大于2的整数。

可选地，所述依据所述图像序列和识别模型进行运动轨迹识别，确定所述运动对象对应运动轨迹的类别，包括：将所述图像序列输入至所述识别模型中，得到各类别的概率信息，其中，所述类别还包括其他类别，所述其他类别包括除所述动态手势类别之外的类别；依据所述概率信息，确定所述运动对象对应运动轨迹的类别。

可选地，所述图像序列包括N帧视频图像，N为大于2的整数，所述识别模型包括：第一子模型、第二子模型和第三子模型；所述将所述图像序列输入至所述识别模型中，得到对应各类别的概率信息，包括：将所述图像序列输入所述第一子模型中，得到N个图像特征向量；将所述N个图像特征向量输入至所述第二子模型中，得到N个时序向量；对所述N个时序向量进行平均处理，得到一个动态手势特征向量；将所述动态手势特征向量输入至所述第三子模型中，得到对应各类别的概率信息。

可选地，所述依据所述概率信息，确定所述运动对象对应运动轨迹的类别，包括：选取概率信息最大的类别，作为所述运动对象对应运动轨迹的类别。

可选地，所述的方法还包括监测视频中是否存在运动对象的步骤：从所述视频对应视频数据中提取相邻两帧视频图像，并计算相邻两帧图像的帧间差；当所述帧间差大于阈值时，确定监测到视频中存在运动对象。

可选地，所述的方法还包括训练所述识别模型的步骤：收集训练数据，其中，所述训练数据包括：手部运动的图像序列和对应的类别，以及其他对象运动的图像序列和对应的类别，所述其他对象包括除手部之外的对象；针对一个图像序列，将所述图像序列输入至所述识别模型中，得到对应各类别的概率信息；依据所述图像序列对应类别的概率信息，调整所述识别模型的权重。

可选地，所述的方法还包括：判断所述运动对象是否为手部；若所述运动对象为手部，则执行提取所述运动对象运动的图像序列的步骤。