[发明专利]单证抓拍方法、设备及计算机存储介质

说明书

本发明公开了一种单证抓拍方法、设备及计算机存储介质。该方法包括：通过单证分类模型提取视频流中的第一单证图像集合；通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别，获取符合图像变换要求的第二单证图像集合；其中，所述单证识别模型为采用人工智能的卷积神经网络模型，所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数；对所述第二单证图像集合中的每一幅图像进行图像变换，得到符合信息提取要求的第三单证图像集合。该方法解决了单证录入困难的问题，提高用户单证录入的操作体验。

技术领域

本发明涉及智能抓拍技术领域，尤其涉及一种单证抓拍方法。

背景技术

当前的单证文字识别OCR(Optical Character Recognition，光学字符识别)功能通过用户拍摄上传单证照片到云端服务器进行处理，但是用户所上传的单证存在不符合拍摄要求的问题，例如：拍摄不全、过远距离拍摄、拍摄图像反光严重或者拍摄环境光线过暗等等。以上问题常常会导致文字识别失败，或者单证录入错误。对于这种问题，业界通常的做法是根据文字识别的置信度阈值进行推断单证识别结果的可靠性，对于识别结果置信度过低的单证拒绝返回结果。但是由于单证上传云端和云端处理时间较长，并且没有办法指导用户按照标准的拍摄规则进行拍摄，所以会导致用户重复上传不符合拍摄要求的情况，导致用户体验下降。

发明内容

有鉴于此，提供一种单证抓拍方法，解决单证录入困难的问题。

本申请实施例提供了一种单证抓拍方法，其特征在于，所述方法包括：

通过单证分类模型提取视频流中的第一单证图像集合；

通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别，获取符合图像变换要求的第二单证图像集合；其中，所述单证识别模型为采用卷积神经网络模型，所述单证识别模型的全连接层包含与第一单证图像中的单证区域对应的位置信息参数和位置信息置信度参数；

对所述第二单证图像集合中的每一幅图像进行图像变换，得到符合信息提取要求的第三单证图像集合。

在一实施例中，所述通过单证分类模型提取视频流中的第一单证图像集合包括：

截取视频通话过程中的视频流；

从所述视频流中以预设周期或者预设帧数间隔来采集视频帧；

当所述视频帧被单证分类模型识别为单证图像时，将所述视频帧加入第一单证图像集合。

在一实施例中，当所述视频帧被单证分类模型识别为单证图像时，加快采集频率和/或增加抓拍分辨率。

在一实施例中，所述通过单证识别模型对所述第一单证图像集合中的每一幅图像进行识别，获取符合图像变换要求的第二单证图像集合，包括：

获取由单证分类模型确定的单证区域对应的位置信息以及位置信息置信度；

当位置信息置信度参数大于预设的置信度阈值时，将第一单证图像的像素特征与所述位置信息以及位置信息置信度一起输入所述单证识别模型并输出为第二单证图像。

在一实施例中，还包括：根据所应用的目标设备的硬件配置训练得到不同的所述单证识别模型，包括：

使用不同的训练集和卷积网络结构设置，获得对应体型和精度的单证识别模型；

所述对应体型和精度的单证识别模型用以适配相应硬件条件的移动终端。

在一实施例中，所述卷积神经网络模型的输入层被配置为接收的输入特征包括所述第一单证图像的像素特征与所述位置信息以及位置信息置信度；

所述卷积神经网络模型的卷积层被配置为使用分阶段卷积方法；