[发明专利]基于视频的复杂场景下手势密码轨迹还原系统

权利要求书

1.一种基于视频的复杂场景下手势密码轨迹还原系统，其特征在于，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，其中：目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，并输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。

2.根据权利要求1所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的智能设备使用场景包括公共场合候车厅、会议室等场所，其中：被攻击用户在移动中、遮挡、非遮挡情况下使用智能终端输入手势密码；攻击者渗透监控摄像头或直接通过智能终端拍摄用户，在输入手指被遮挡或者未遮挡情况下对输入的手势密码进行轨迹还原。

3.根据权利要求1所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的目标检测模块包括：智能设备识别单元、手指关键点识别单元和智能设备关键点识别单元，其中：智能设备识别单元通过训练智能设备识别模型后，用于识别输入的视频中每一帧并得到其中的设备位置、大小对应的置信度，当识别成功时，智能设备识别单元输出放大后的设备位置作为关键点检测区域；手指关键点识别单元根据智能设备识别单元输出的待检测区域，在待检测区域内使用手指关键点检测模型HandPose检测手部关键点；智能设备关键点识别单元根据智能设备识别单元输出锚框，使用YOLO模型得到设备的左上角的锚框坐标以及置信度。

4.根据权利要求3所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的YOLO模型，具体采用YOLOv-3，其通过以下方式进行训练：

S1)从训练集视频中随机抽取1000张视频帧，并对其进行智能终端位置及旋转角标注，并应用旋转、拼接、翻转、剪切、加噪声和调整亮度的图像增广方式，生成20000张标标注的图片；

S2)设置学习率、迭代次数、优化算法，同时使用迁移学习的方式，在GPU上进行训练；

S3)通过optuna算法进行超参数挑优。

5.根据权利要求1所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的多关键点追踪模块包括：关键点选择单元、追踪单元和误追踪检测单元，其中：关键点选择单元通过计算权重对关键点排序，选择权重最大的帧的手部关键点进行追踪；追踪单元追踪设备和手指关键点，得到相对轨迹；误追踪检测单元利用手势密码已知信息进行启发式判定。

6.根据权利要求5所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的权重是指：时间轴权重和置信度权重的乘积：W_p＝W_time*W_confidence，其中：时间轴权重W_time为该关键点所在帧序在时间轴上的标准化映射，出现越早的关键点时间轴权重越高，置信度小于阈值的点会被直接舍弃；置信度权重W_confidence为目标检测算法中手指关键点的置信度，舍弃置信度小于阈值的关键点。

7.根据权利要求6所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的启发式判定是指：在以下三种情况会判定追踪算法误检测：

①相邻帧之间的目标移动距离大于距离阈值；

②追踪锚框在一定时间内停止移动；

③追踪判定结束后序列长度小于长度阈值。

8.根据权利要求1所述的基于视频的复杂场景下手势密码轨迹还原系统，其特征是，所述的轨迹处理模块包括：滤波单元和关键点检测单元，其中：滤波单元轨迹关键点序列作为输入，通过卡尔曼滤波器降低时滞性，通过预测轨迹点与实际轨迹点之间的偏差来进行轨迹位置的调整，实现轨迹的平滑；关键点检测单元通过关键点检测算法及一致性算法得到近似轨迹。