[发明专利]手部跟踪方法及机器可读存储介质

说明书

本发明涉及手势识别领域。本发明一实施例提供一种手部跟踪方法及机器可读存储介质，其中所述手部跟踪方法，包括：获取待执行手部跟踪任务的手部图像视频；从所述手部图像视频中提取出第一帧深度图像和其下一帧的第二帧深度图像，并获取所述第一帧深度图像中手的第一手部位置；将所述第一手部位置和所述第二帧深度图像输入神经网络模型，以由该神经网络模型预测所述第二帧图像中手的第二手部位置，其中所述神经网络模型是以深度图像和相邻帧的所述深度图像之间的手部位置差为标签进行训练的。由此，基于手部历史位置信息和当前图像信息预测当前帧目标在图像中的位置，并推断出了当前手部位置的跟踪状态。

技术领域

本发明涉及手势识别领域，具体地涉及一种手部跟踪方法及机器可读存储介质。

背景技术

手势识别技术能够通过识别用户手部的姿态以及动作实现基于手势的人机交互，而手跟踪技术是此类技术方案中不可或缺的一部分。

目前相关技术中实现目标跟踪主要有两方面的实现技术：一方面，可以是基于上一帧目标在图像中所占据的区域，通过算法给出当前帧目标可能的候选区域；然后，计算候选区域与上一帧目标所在区域的匹配程度(或其它评判标准，如颜色直方图分布等)，选取匹配程度最好的区域为当前帧目标的位置预测。另一方面，可以是对目标物体进行建模，然后寻找当前图像中与目标模型最接近的区域，之后再更新目标模型。

故目前的手部跟踪技术都是对目标所占据的区域进行跟踪，但是人的手因其复杂的形变和姿态变化、特征多样，前后帧之间的相关性较弱，区域跟踪难度大，并且其跟踪算法通常计算量大且算法逻辑复杂而导致手部跟踪响应滞后严重，降低了手势识别的精确度。

发明内容

本发明实施例的目的是提供一种手部跟踪方法及机器可读存储介质，用以至少解决目前相关技术中手部跟踪算法复杂且响应滞后严重，而降低了手势识别的精确度的问题。

为了实现上述目的，本发明实施例一方面提供一种手部跟踪方法，包括：获取待执行手部跟踪任务的手部图像视频；从所述手部图像视频中提取出第一帧深度图像和其下一帧的第二帧深度图像，并获取所述第一帧深度图像中手的第一手部位置；将所述第一手部位置和所述第二帧深度图像输入神经网络模型，以由该神经网络模型预测所述第二帧图像中手的第二手部位置，其中所述神经网络模型是以深度图像和相邻帧的所述深度图像之间的手部位置差为标签进行训练的。

本发明实施例另一方面提供一种机器可读存储介质其中该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的手部跟踪方法。

本发明实施例又一方面提供一种手部跟踪系统，包括图像获取单元，用于获取待执行手部跟踪任务的手部图像视频；帧提取单元，用于从所述手部图像视频中提取出第一帧深度图像和其下一帧的第二帧深度图像；历史手部位置获取单元，用于获取所述第一帧深度图像中手的第一手部位置；手部位置推测单元，用于将所述第一手部位置和所述第二帧深度图像输入神经网络模型，以由该神经网络模型预测所述第二帧图像中手的第二手部位置，其中所述神经网络模型是以深度图像和相邻帧的所述深度图像之间的手部位置差为标签进行训练的。

通过上述技术方案，将上一帧深度图像中的手部位置和当前帧深度图像输入至神经网络模型，该神经网络模型是以深度图像和相邻帧的深度图像之间的手部位置差为标签而训练的，使得该神经网络模型能够结合上一帧手部位置推算出其相对于当前帧的手部位置差，并进一步计算出当前帧的手部位置。由此，仅通过上一帧的手部位置和当前帧的深度图像信息来推断当前帧的手部位置，利用手部历史位置信息和当前图像信息来预测当前帧目标在图像中的位置，简化了算法的复杂性，并降低了手部跟踪难度，实现了手部跟踪的快速响应。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明