[发明专利]一种基于深度学习的签字行为识别方法及系统

说明书

本发明公开了一种基于深度学习的签字行为识别方法及系统，包括：接收用户上传的视频数据，并从视频数据中提取出若干个待识别的第一图像；按照预设的算法，依次对所有第一图像进行检测，当检测到当前第一图像中的签字笔区域和手部区域相交，并且签字笔旋转角度大于预设角度时，判定当前第一图像为有效图像；依次对所有有效图像进行行为识别，并根据所有的行为识别结果，从视频数据中获取签字行为视频；其中，一个有效图像对应一个行为识别结果。本发明通过筛选签字笔区域和手部区域相交且签字笔旋转角度大于预设角度的第一图像，作为有效图像，避免出现将目标拿起笔而未签字的行为错误识别为签字行为的情况，提升签字行为识别的准确率。

技术领域

本发明涉及视频数据处理领域，尤其涉及一种基于深度学习的签字行为识别方法及系统。

背景技术

为保障消费者的权益，基于监管机构的要求，金融保险机构在销售理财产品和代销金融产品时需要通过录音录像规范金融保险机构的销售行为。目前，金融保险机构通常采用本地缓存视频文件，等整个视频录制完成之后异步上传到云端保存，以备后续监管部门进行合规审查。金融保险机构为保证业务办理视频的合规性，一般采用人工的手段对视频进行审查。金融业务办理的过程中会产生大量的视频数据，而且视频数据量还在不断的增加。而人工审核一个视频需要10到15分钟的时间，仅依靠人工审核无法满足日益增长的业务需求。此外，虽然可以使用特殊的辅助设备进行签字行为的检测，但是辅助设备操作复杂且成本高，同时普遍适用性也比较差，受使用场景的限制。

现有的签字检测系统通常根据视频中是否出现签字笔和手部，进而确定签名识别的结果，容易将目标拿起笔而未签字的行为误判为签字行为，影响识别结果的准确性。

发明内容

本发明提供了一种基于深度学习的签字行为识别方法及系统，降低时间成本，提升签字行为识别的准确率。

为了解决上述技术问题，本发明实施例提供了一种基于深度学习的签字行为识别方法，包括：

接收用户上传的视频数据，并从所述视频数据中提取出若干个待识别的第一图像；

按照预设的算法，依次对所有所述第一图像进行检测，当检测到当前所述第一图像中的签字笔区域和手部区域相交，并且签字笔旋转角度大于预设角度时，判定当前所述第一图像为有效图像；

依次对所有所述有效图像进行行为识别，并根据所有的行为识别结果，从所述视频数据中获取签字行为视频；其中，一个所述有效图像对应一个所述行为识别结果。

进一步地，所述按照预设的算法，依次对所有所述第一图像进行检测，当检测到当前所述第一图像中的签字笔区域和手部区域相交，并且签字笔旋转角度大于预设角度时，判定当前所述第一图像为有效图像，具体为：

按照预设的目标检测算法，依次对所有所述第一图像进行检测，获得若干个所述第一图像对应的签字笔检测结果和手部检测结果；其中，一个所述第一图像对应一个所述签字笔检测结果和一个所述手部检测结果；

根据所述签字笔检测结果和所述手部检测结果，选取签字笔区域和手部区域相交且签字笔旋转角度大于预设角度的所述第一图像，作为所述有效图像；其中，所述预设角度的取值范围为：40度至80度。

进一步地，所述依次对所有所述有效图像进行行为识别，并根据所有的行为识别结果，从所述视频数据中获取签字行为视频，具体为：

按照预设的基于深度学习的行为识别算法，依次对所有所述有效图像进行行为识别，获得若干个所述有效图像对应的行为识别结果；

根据所述行为识别结果，确定所述有效图像对应的行为；

根据第一业务状态和所述有效图像对应的行为，确定在所述有效图像对应的视频时刻是否进行视频写入操作，并从所述视频数据中获取所述签字行为视频。