[发明专利]基于手势识别的投票方法与系统、电子设备

权利要求书

1.一种基于手势识别的投票方法，其特征在于，包括：

获取摄像头采集的图像；

对所述图像进行手势检测，获取手势中预设数量的关键点；

当根据所述关键点的位置判断所述手势为预设手势时，按照预设投票规则进行投票计数。

2.根据权利要求1所述的基于手势识别的投票方法，其特征在于，所述对所述图像进行手势检测，获取所述手势中预设数量的关键点包括：

采用关键点检测模型对所述图像进行处理，获取所述手势中预设数量的关键点；

其中，所述关键点检测模型包括由5层卷积层、3层全连接层以及输出层构成的深度学习网络。

3.根据权利要求1所述的基于手势识别的投票方法，其特征在于，所述根据关键点的位置判断所述手势为预设手势，包括：

获取预设手势的预设关键点在所述图像中的位置；

计算所述关键点的位置与预设关键点在图像中的位置的相似度；

当所述相似度满足预设相似度阈值时，判断所述手势为预设手势。

4.根据权利要求2所述的基于手势识别的投票方法，其特征在于，所述采用关键点检测深度学习网络模型对所述图像进行处理之前，还包括构建训练集对所述关键点检测模型进行训练；

其中，所述构建训练集的步骤包括：

通过多个摄像头获取当前训练手势的多个视角的图像；

采用关键点检测模型对所述训练手势的多个视角的图像分别进行向前传播处理，分别获得每个视角图像的多个关键点；

通过多个视角的图像中的多个关键点，并结合视觉定位中三角测量原理建立关键点空间定位模型；

当多个视角的图像中的第一视角图像在所述进行向前传播处理的过程中未获取得到第一关键点时，根据所述关键点空间模型以及第一视角图像中已获取的关键点的位置，在第一视角图像中获取所述第一关键点的位置；

将所述多个视角图像以及获取的所有关键点，构建所述训练集。

5.根据权利要求4所述的基于手势识别的投票方法，其特征在于，在所述分别获得每个视角图像的关键点之后，在所述通过三角测量原理建立关键点空间模型之前，还包括：

获取每个视角的图像中的每个关键点的置信度；

根据每个视角的图像中的每个关键点的置信度，计算得到置信度评分；

当所述置信度评分小于预设置信度评分时，则删除当前所述训练手势的所有视角的图像。

6.根据权利要求5所述的基于手势识别的投票方法，其特征在于，所述置信度评分的计算公式为：

其中，S为所述置信度评分，v为视角的序号，m为视角的总数量，p为关键点的序号，n为所有关键点的数量，为第v视角的图像中第p个关键点的置信度，γ为预设系数，为第v视角的图像中第p个关键点在所述图像中的横坐标，为第v视角的图像中第p个关键点在所述图像中的纵坐标，为第v视角的图像中所有关键点横坐标的平均值，为第v视角的图像中所有关键点纵坐标的平均值。

7.根据权利要求4所述的基于手势识别的投票方法，其特征在于，所述通过多个摄像头获取当前训练手势的多个视角的图像的步骤中，所述多个摄像头均匀分布在所述训练手势周围，所述摄像头的数量大于10个。

8.根据权利要求1所述的基于手势识别的投票方法，其特征在于，所述预设手势包括：点赞手势，其中，所述点赞手势为大拇指向远离掌心的方向伸出，剩余四指向掌心内侧弯曲的手势；

所述点赞手势中预设关键点包括：掌心关键点、大拇指指掌关节关键点、大拇指指间关节关键点、食指指尖关键点、中指指尖关键点、无名指指尖关键点、小拇指指尖关键点。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序可被处理器所执行，以用于实现如权利要求1-8任一项所述的基于手势识别的投票方法。

10.一种基于手势识别的投票系统，其特征在于，包括后台服务器、电子终端和至少一个摄像机，所述后台服务器与所述电子终端、摄像机通信连接，所述电子终端与所述摄像机通信连接；

所述摄像机用于采集图像，并将所述图像上传至所述服务器；

所述服务器用于根据上传的对所述图像进行手势检测，获取手势中预设数量的关键点，并发送至所述电子终端，当根据所述关键点的位置判断所述手势为预设手势时，按照预设投票规则进行投票计数，并将所述投票计数的结果传输至电子终端；

所述电子终端用于展示所述投票计数的结果。