[发明专利]基于AI的签字动作识别定位方法、识别训练方法及系统

权利要求书

1.一种基于AI的签字动作识别定位方法，包括如下步骤：

视频识别步骤，获取待识别视频数据，根据预先训练好的AI签字动作识别定位模型识别视频数据中具有签字动作的视频帧；

起始帧定位步骤，若首次识别到的具有签字动作的视频帧，将其定义为起始帧，为其建立帧索引；

视频帧计数步骤，对起始帧后的连续视频帧通过所述AI签字动作识别定位模型进行识别，若识别到其具有签字动作，则累进计数加一，直到判断当前连续视频帧的签字动作结束；

签字动作标记步骤，标记所述视频帧计数步骤中最后识别到的具有签字动作的视频帧为终止帧，将起始帧到终止帧之间连续的视频段作为当前视频数据的签字动作视频段；

签字动作定位步骤，将视频数据中所述起始帧和终止帧对应的时间分别输出为签字动作定位起始时间和终止时间，将所述起始帧的具有该起始时间的帧索引输出为该签字动作的跳转标签；

其特征是，所述视频识别步骤中，识别视频数据中具有签字动作的视频帧是指通过人体动作分析及追踪从结果序列中识别出签字动作，返回签字动作发生的时间，包括所述起始帧定位步骤、视频帧计数步骤和签字动作标记步骤；在执行所述起始帧定位步骤前，初始化生命值、持续时间、饥饿值和帧索引；

在所述视频帧计数步骤中，若识别到其具有签字动作，生命值作为累进计数加一，饥饿值作为累退计数重置为零；所述判断当前连续视频帧的签字动作结束是指：对连续视频帧，识别到不具有签字动作的视频帧，累进计数暂停而累退计数加一，若累退计数连续增加直到其值超过当前累进计数的值，则判断当前连续视频帧的签字动作结束；若累进计数连续加一，持续时间均匀增长，若累进计数暂停，则当累进计数再次加一时，暂停时间计入所述持续时间；

在所述签字动作标记步骤中，当视频帧全部检测完毕时，选出持续时间超过指定阈值的连续视频帧，计算签字动作发生的时间点和持续时间的持续时长以标记终止帧：

时间点：帧索引/视频的FPS；

持续时长：（帧索引+持续时间）/视频的FPS；

在所述签字动作标记步骤中，对于签字动作视频段，比较起始帧和终止帧的图像版面，若存在短字符的文字更新，才判断当前视频数据具有签字动作视频段；以版面文本布局方式的比较识别实现对签字字符实际落笔位置的识别，当实际落笔位置为大面积空置位置，则进一步验证签字动作已经真实实行。

2.根据权利要求1所述的基于AI的签字动作识别定位方法，其特征是，所述视频识别步骤中，所述AI签字动作识别定位模型所识别的具有签字动作的视频帧是具有单人、坐姿、写字三个特征的图像。

3.根据权利要求2所述的基于AI的签字动作识别定位方法，其特征是，所述视频识别步骤中，所述AI签字动作识别定位模型通过轻量级卷积神经网络对RGB图像进行特征提取，采用深度可分离卷积来减小模型参数量。

4.根据权利要求1所述的基于AI的签字动作识别定位方法，其特征是，所述签字动作标记步骤中，还比较所述起始帧和所述终止帧的图像版面，若终止帧相对起始帧存在短字符的文字更新，才执行后续签字动作定位步骤。

5.根据权利要求1所述的基于AI的签字动作识别定位方法，其特征是，包括在所述签字动作定位步骤中执行的校验步骤，对签字动作视频段进行隔帧取样，将取样得到的帧图像转换成灰度图进行人体动作幅度评估；具体地，对相邻帧两两求帧差，得到两帧差；将两帧差取或运算，得到幅度特征图；使用形态学算法对特征图进行两次膨胀，扩大幅度信号；根据特征图的扩大幅度信号计算平均签字幅度值；若幅度值大于预设阈值，则判定为具有签字动作；累计幅度值超过所述预设阈值的次数，若次数达到全部校验帧的预设程度，则判断该签字动作视频段有效，输出所述跳转标签。

6.一种计算机可读存储介质，其存储有计算机程序，其特征是，所述计算机程序被处理器执行时能够实现权利要求1~5中任一项所述的基于AI的签字动作识别定位方法。

7.一种基于AI的签字动作识别定位系统，包括处理器，其特征是，还包括如权利要求6所述的计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行。