[发明专利]一种基于硬件结合的大屏幕交互方法、装置和设备

权利要求书

1.一种基于硬件结合的大屏幕交互方法，其特征在于，包括：

获取预置在大屏幕上的摄像设备所采集到的图像帧；所述图像帧用于指示人物；

对所述人物进行手部识别，得到手部图像；所述手部图像用于指示持握硬件的手部、以及所述手部的各个手部关键点；

将所述手部图像输入至分类模型中，得到所述分类模型输出的分类结果；所述分类模型基于将样本图像帧的手部图像作为输入，并将预先标注的所述样本图像帧所示硬件的硬件类型、以及所述样本图像帧所示手部的持握姿态作为训练目标，训练得到；所述分类结果包括各个硬件类型的概率、以及所述手部的持握姿态；

将所述概率最大的硬件类型作为所述图像帧所示硬件的硬件类型；

在获取到用户对大屏幕的触发操作的情况下，控制操作系统执行与所述图像帧所示硬件的硬件类型对应、且与所述图像帧所示手部的持握姿态对应的功能指令。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述手部图像输入至硬件检测模型中，得到所述硬件检测模型输出的检测结果；所述硬件检测模型基于将所述样本图像帧的手部图像作为输入，将预先标注的所述样本图像帧所示硬件的遮罩作为训练目标，训练得到；所述检测结果包括所述图像帧所示硬件的遮罩；

基于目标图像帧所示手部的各个手部关键点、以及所述目标图像帧所示硬件的遮罩，判断所述用户与所述目标图像帧所示硬件之间是否发生交互行为；所述目标图像帧为所述摄像设备在预设时间段内采集到的图像帧；

在所述用户与所述目标图像帧所示硬件之间发生所述交互行为的情况下，控制所述操作系统执行与所述目标图像帧所示硬件的硬件类型对应、且与所述目标图像帧所示手部的持握姿态对应的功能指令。

3.根据权利要求2所述的方法，其特征在于，所述目标图像帧包括第一图像帧、第二图像帧、以及第三图像帧；所述第一图像帧的时间戳早于所述第二图像帧的时间戳，所述第二图像帧的时间戳早于所述第三图像帧的时间戳；

所述基于目标图像帧所示手部的各个手部关键点、以及所述目标图像帧所示硬件的遮罩，判断所述用户与所述目标图像帧所示硬件之间是否发生交互行为，包括：

计算所述第一图像帧所示目标手部关键点、与所述第一图像帧所示遮罩之间的最近距离，得到第一数值；所述目标手部关键点为：所述手部的各个手部关键点中用于指示食指指尖的手部关键点；

计算所述第二图像帧所示目标手部关键点、与所述第二图像帧所示遮罩之间的最近距离，得到第二数值；

计算所述第三图像帧所示目标手部关键点、与所述第三图像帧所示遮罩之间的最近距离，得到第三数值；

计算所述第三图像帧的时间戳、与所述第一图像帧的时间戳之间的时间差，得到第四数值；

在所述第四数值小于第一预设阈值、且所述第一数值小于第二预设阈值、且所述第二数值大于第三预设阈值、且所述第三数值小于所述第二预设阈值的情况下，确定所述用户与所述目标图像帧所示硬件之间发生交互行为；所述交互行为用于表征：所述用户使用食指在所述目标图像帧所示硬件上进行点击操作。

4.根据权利要求1所述的方法，其特征在于，所述对所述人物进行手部识别，得到手部图像，包括：

将所述图像帧输入至预设的手部识别模型中，得到所述手部识别模型输出的手部图像；其中，所述手部识别模型用于：对所述图像帧所示人物进行手部识别，并在所述图像帧中标注手部的各个手部关键点，以及利用最小包围盒算法框选出手部图像。