[发明专利]基于AI的签字动作识别定位方法、识别训练方法及系统

说明书

本发明公开了一种基于AI的签字动作识别训练方法、识别定位方法、系统及计算机可读存储介质。该基于AI的签字动作识别定位方法通过基于AI的签字动作识别训练方法训练得到的AI签字动作识别定位模型从视频数据中识别具有签字动作的视频帧，然后通过视频帧计数步骤和签字动作标记步骤对视频帧进行处理得到起始帧和终止帧，并将起始帧到终止帧之间连续的视频段作为当前视频数据的签字动作视频段，最后以签字动作定位步骤输出的帧索引作为该签字动作的跳转标签，完成对签字动作的识别定位。本方法通过单一的识别定位模型进行视频帧识别，能避免多模型联动带来的误差累加和延迟问题，减少内存占用量、提升系统的计算速度，提高签字动作识别效率。

技术领域

本发明涉及动作识别技术领域，特别涉及一种基于AI的签字动作识别定位方法、识别训练方法、系统以及计算机可读存储介质，计算机可读存储介质被处理器执行时能实现基于AI的签字动作识别定位方法。

背景技术

现今，使用互联网办理在线业务已经非常普遍，为了保证业务的合规化，需要用户在办理业务后进行线上签字，以确保业务的合法性。而在签字后，需要对其签字视像进行后台审核，以确定是否为用户本人操作，避免冒认或串改的情况。

由于传统的人工审核方式工作量大，审核效率低，为了减少审核的工作量，目前常用的审核方式是使用手检测模型分别检测视频的每一帧图像的人手关键点，使用人手关键点特征或者模式匹配的方法，从人手关键点确定这一帧图像是否为签字动作，当确定为签字动作时，记录该签字动作的图像序列，最后根据图像序列确定的签字动作的视频时间。

但目前常用的审核方式有如下技术问题：首先，容易出现误差累加的情况，一旦手检测模型检测人手关键点出错，将会导致签字动作检测出错，降低识别的准确性，而且模型占用计算和存储资源较多，耗能大，导致计算效率低，另外，由于视频中用户的手的姿势变化众多，对签字动作进行建模不仅难度大，稳定性低，难以满足实际的使用需求。

发明内容

本发明所要解决的技术问题是提供一种基于AI的签字动作识别定位和识别训练方法，存储有被执行时实现上述方法的计算机程序的计算机可读存储介质，包括该存储介质的系统，该基于AI的签字动作识别训练和定位方法能够实现对视频数据中签字动作的自动识别和定位。

提供一种基于AI的签字动作识别定位方法，包括如下步骤：

视频识别步骤，获取待识别视频数据，根据预先训练好的AI签字动作识别定位模型识别视频数据中具有签字动作的视频帧；

起始帧定位步骤，若首次识别到的具有签字动作的视频帧，将其定义为起始帧，为其建立帧索引；

视频帧计数步骤，对起始帧后的连续视频帧通过所述AI签字动作识别定位模型进行识别，若识别到其具有签字动作，则累进计数加一，直到识别到不具有签字动作的视频帧，累进计数暂停而累退计数加一，若累退计数连续增加直到其值超过当前累进计数的值，则判断当前连续视频帧的签字动作结束；

签字动作标记步骤，标记所述视频帧计数步骤中最后识别到的具有签字动作的视频帧为终止帧，将起始帧到终止帧之间连续的视频段作为当前视频数据的签字动作视频段；

签字动作定位步骤，将视频数据中所述起始帧和终止帧对应的时间分别输出为签字动作定位起始时间和终止时间，将所述起始帧的具有该起始时间的帧索引输出为该签字动作的跳转标签。

优选地，所述视频识别步骤中，所述AI签字动作识别定位模型所识别的具有签字动作的视频帧是具有单人、坐姿、写字三个特征的图像。

优选地，所述视频识别步骤中，所述AI签字动作识别定位模型通过轻量级卷积神经网络对RGB图像进行特征提取，采用深度可分离卷积来减小模型参数量。

优选地，所述签字动作标记步骤中，比较所述起始帧和所述终止帧的图像版面，若存在短字符的文字更新，才判断当前视频数据具有签字动作视频段。