[发明专利]基于视频的复杂场景下手势密码轨迹还原系统

说明书

一种基于视频的复杂场景下手势密码轨迹还原系统，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，并输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。本发明在遮挡、非遮挡及运动的复杂场景下情况下，通过分析视频中的手部特征以及智能终端特征，对手部关键点和智能终端进行识别与跟踪，和轨迹处理，全自动化地还原出用户使用智能终端等智能设备过程中的轨迹。

技术领域

本发明涉及的是一种信息安全领域的图像处理技术，具体是一种基于视频的复杂场景下手势密码轨迹还原系统。

背景技术

智能终端等智能设备在使用过程中，为验证操作者的身份，往往要求用户输入各类密码进行验证，但在公共场合输入密码或文本信息时，攻击者可能会通过一段未被察觉偷拍的视频中窃取用户的数字密码、手势密码、键盘输入等隐私信息，进而威胁到用户个人隐私与财产安全。

对于通过视频的方式识别用户输入的手势密码，现有基于视频或图像还原的手势轨迹技术有通过人的观察手工标注视频中手指移动轨迹得以实现。该技术的优点在于手指轨迹标记更加准确、不会出现追踪失败的情况，缺点是人工标注耗时耗力，无法和智能终端关键点做相对位置计算，实现运动情况下轨迹还原难度很高。同时，遮挡情况下也很难准确标记轨迹。也有改进技术通过人工标注手部关键点和智能终端关键点，在调用追踪算法的同时追踪手部关键点和智能终端关键点，通过计算相对位置得到轨迹，该技术能够在静止使用设备、运动中使用设备、手部被遮挡情况下使用设备等多种情况下追踪得到轨迹，缺点是同样需要人工标注的设备、手部关键点以及旋转角度，无法实现批量的轨迹识别。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于视频的复杂场景下手势密码轨迹还原系统，在遮挡、非遮挡及运动的复杂场景下情况下，通过分析视频中的手部特征以及智能终端特征，对手部关键点和智能终端进行识别与跟踪，和轨迹处理，全自动化地还原出用户使用智能终端等智能设备过程中的轨迹。

本发明是通过以下技术方案实现的：

本发明涉及一种基于视频的复杂场景下手势密码轨迹还原系统，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，其中：目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，并输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。

所述的智能设备使用场景包括公共场合候车厅、会议室等场所，其中：被攻击用户在移动中、遮挡、非遮挡情况下使用智能终端输入手势密码；攻击者渗透监控摄像头或直接通过智能终端拍摄用户，在输入手指被遮挡或者未遮挡情况下对输入的手势密码进行轨迹还原。

技术效果

本发明整体解决了现有技术无法自动化地识别复杂场景下手势密码的问题。

与现有技术相比，本发明无需人工干预，在遮挡、非遮挡等复杂场景下，以迭代、分治的方法分析轨迹各点间的欧式距离，自动化提取出轨迹中的关键点，最终以向量的方法表示出手势密码轨迹。本发明能够能够同时对海量视频流进行手势密码轨迹提取，实现范围攻击和自动化识别追踪算法的误检测。

附图说明

图1为本发明系统示意图；

图2为实施例手指姿态输出关键点位置示意图。

具体实施方式