[发明专利]一种面向智能电视的手势识别方法

权利要求书

1.一种面向智能电视的手势识别方法，其特征在于包含以下步骤：

手掌检测，摄像头实时采集视频流并分解成图像帧，手掌检测模型读取第一帧图像并检测返回一个包含手掌的手部边界框；

手部关键点检测与标记，手部关键点检测与标记模型对手部边界框覆盖区域进行检测，并返回手部21个关键点的三维坐标；

手掌跟踪，得到第一帧图像的手部边界框后产生一个手掌跟踪器，在图像帧之间追踪手掌；

手势分类，手部21个关键点输入关键点分析模型中分析并返回手势识别结果。

2.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手掌检测模型、手部关键点检测与标记模型、手掌跟踪器和关键点分析模型之间相互独立并基于MediaPipe的ML管道协同工作。

3.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手掌检测模型检测的过程为：

摄像头实时采集视频流并分离成图像帧传入GPU通道中，图像帧进入图像处理单元；

在自拍模型模式下，图像帧被水平翻转，然后图像帧进入子图手掌检测单元进行手掌检测，输出归一化的矩形和检测值；

矩形转渲染数据单元和检测值转渲染数据单元分别将归一化的矩形和检测值转成渲染数据送到注释覆盖单元；

注释覆盖单元把归一化矩形和检测值的渲染数据以注释的方式覆盖到水平翻转的图像上，输出该图像帧，完成手掌检测。

4.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手部关键点检测与标记模型检测的过程为：

图像帧流入手部关键点检测与标记模型，运算单元从图像帧中裁剪出矩形区域，并将其按图像方式发送给图像转换单元；

图像转换单元把输入图像的大小缩放成256×256；缩放后的图像传入关键点推理模型得到包含检测框、手部关键点的位置以及对应的分数信息的TfLite张量；

分离TFLite张量向量计算单元根据选项中指定的范围，将TFLite张量的一个向量拆分为多个向量，包括关键点张量、手部标志张量以及惯用手张量，然后将以上三个张量将传入相对应的转换单元；

关键点字母框移除单元将字母框手部图像上的关键点调整到移除字母框的同一张图像上的相应位置；

在获得了未经变换的坐标值和手部归一化矩形情况下，关键点投影单元将裁剪后的手部图像中的手部关键点投影到完整图像上的相应位置；

拆分归一化化关键点列表单元从手部关键点中提取一个子集，包括腕关节以及其他五指的掌指关节和近端指尖关节，通过该子集来计算边缘框，随后边缘框逐步扩大到包含整个手部；

手部关键点转矩形单元将手部关键点转换为包围手部的矩形，该单元使用从上一个单元中提取所有手部关键点的子集来计算边缘框和输出矩形的旋转向量；

矩形转换单元扩大手部矩形以至于能够包含整个手，并且使其足够大。

5.根据权利要求4所述的一种面向智能电视的手势识别方法，其特征在于：所述转换单元包含：

TFLite张量转分类单元将惯用手张量转换为一个浮点数，并将其作为惯用手二元分类的分数；

TFLite张量转浮点数将手部标志张量转换为浮点数，用于表示手部存在的置信度分数，随后通过阈值单元来判断手部的存在性；

TFLite张量转关键点单元将关键点张量转换成关键点列表，列表中包含21个关键点，其中关键点的实际位置信息通过图像大小进行归一化处理。

6.根据权利要求4所述的一种面向智能电视的手势识别方法，其特征在于：所述图像转换单元转化成256×256时，缩放模式设置成适配以保留纵横比，同时在变换后的图像中产生潜在的字母框。

7.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述手掌追踪器追踪过程为：

手掌追踪器在图像帧之间检测手部关键检测与标记模型产生的手部矩形框，当手部矩形框丢失了手掌目标时，重新启动手掌检测，否则一直沿用当前手部矩形框区域。

8.根据权利要求1所述的一种面向智能电视的手势识别方法，其特征在于：所述关键点分析模型的分析过程为：

关键点分析模型基于关节、手指和手腕的位置进行手势分类；关键点分析模型得到每个手势下手部的21个关键点坐标数据集，然后计算并统计手腕点到关节的向量和关节到关节的向量的夹角，以此来描述该种手势下手指的弯曲程度；同时结合关键点相对距离比对环节，比对特征关键点的归一化距离，完成手势分类。