[发明专利]手部作业动作评分装置、方法及计算机可读存储介质

说明书

一种手部作业动作评分装置、方法及计算机可读存储介质，所述方法包括：将获取的手部作业图像帧转换为HSV图像，以从中获取皮肤所在区域的二值化图像及手部所在区域的多个矩形框；根据多个矩形框从二值化图像中分割出第一手部图像并输入至第一预设模型；基于第一预设模型的分析结果构建随跟踪时间累积的跟踪数据；若第一预设模型分析得到的手部关键点坐标不可靠，则调用预设手部系列检测模型对手部作业图像帧进行检测；利用第二预设模型为跟踪数据中的每一手部分配手部标签，以进行数据分类；对分类后的跟踪数据进行预处理得到每一手部的精数据；根据该精数据及基准精数据对每一手部的作业动作进行评分。本发明可对被测者手部作业动作进行评分。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种手部作业动作评分装置、方法及计算机可读存储介质。

背景技术

近年来，随着深度学习技术的发展，现有手部识别技术一般是采用基于卷积神经网络的各种架构得到的手部检测模型来进行手部识别。这些模型一般要求输入的图片中只能存在一个手部，具有一定的局限性。

现代工厂中，工人手部作业动作的准确性可对产线的良率、生产效率造成一定的影响。现有的工人手部作业动作的评判方式一般是由评核人员直接对工人手部作业动作进行实时观察与评分，评判准确性受评核人员的人为因素影响，准确性无法保证。

发明内容

有鉴于此，有必要提供一种手部作业动作评分装置、方法及计算机可读存储介质，可智能分析出工人手部作业动作与标准作业动作差异，并给出相应评分。

本发明一实施方式提供一种手部作业动作评分方法，所述方法包括：获取手部作业影像，并对所述手部作业影像进行解码得到手部作业图像帧；将所述手部作业图像帧转换为HSV图像，并从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；根据多个所述矩形框从所述二值化图像中分割出第一手部图像并利用第一预设模型对所述第一手部图像进行分析；基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据；利用第二预设模型监测所述跟踪数据并为所述跟踪数据中的每一手部分配手部标签，以基于所述手部标签对所述跟踪数据进行分类，其中每一所述手部对应唯一的手部标签；对所述分类后的跟踪数据进行预处理，以得到每一所述手部的精数据；及根据每一所述手部的精数据及基准手部作业的精数据对每一所述手部的作业动作进行评分。

优选地，所述从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框的步驟包括：

根据H通道的上下限值、S通道的上下限值及V通道的上下限值从所述HSV图像中获取表示皮肤所在区域的二值化图像及表示手部所在区域的多个矩形框；

其中，若所述手部作业图像帧为起始帧图像，则所述H通道的上下限值为第一默认上下限值，所述S通道的上下限值为第二默认上下限值，及所述V通道的上下限值为第三默认上下限值。

优选地，所述第一预设模型为预先训练的手部关键点分析模型，所述利用第一预设模型对所述第一手部图像进行分析的步骤包括：

利用所述手部关键点分析模型对所述第一手部图像进行分析得到与每一所述矩形框对应的手部关键点坐标、置信度及手部特征向量。

优选地，所述方法还包括：

根据每一所述矩形框对应的置信度计算得到一置信度均值；

判断所述置信度均值是否大于预设值；

若所述置信度均值大于所述预设值，则基于预设更新规则更新所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值；及

若所述置信度均值不大于所述预设值，则不对所述H通道的上下限值、所述S通道的上下限值及所述V通道的上下限值进行更新。

优选地，所述基于所述第一预设模型的分析结果构建一随跟踪时间累积的跟踪数据的步骤包括：