[发明专利]一种多模态单证分类方法、系统、计算机设备及存储介质

说明书

本发明提供了一种多模态单证分类方法、系统和存储介质，应用于多模态单证分类系统，所述方法包括，对N个待分类单证图像进行粗分类，获得第一粗分类单证图像；提取所述第一粗分类单证图像进行文本检测，获得至少一个文本区域；将每一所述文本区域进行分割，获得至少一个文本图像块；将所述文本图像块输入预先训练的字段识别模型进行类别细分，获得细分标签；根据所述细分标签确定所述待分类单针图像的目标类别，获得目标分类单证图像，从而解决针对多类别的、少训练样本的分类问题比较难解决，提升了分类效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多模态单证分类方法、系统、计算机设备及存储介质。

背景技术

在金融保险行业，因业务审批流程不同，会产生不同的业务单据证件，且在对其进行处理时，需要对其进行分类，在金融领域，存在很多难以分类的单独证明类文件，且同一类型之间还存在模板更替，或者多种模板样式的问题，不同类型之间的单证之间因非常相似导致难以区分，且上述难以分类的问题很难用大训练量进行解决，因为训练样本不足，所以目前针对图像分类问题可以使用粗粒度分类问题和细粒度分类的方法进行分类，但针对多类别的、少训练样本的分类问题比较难解决，因此，因此业务上需要一种可以精确区分不同单证的方案

发明内容

本发明的主要目的在于提供了一种多模态单证分类方法、系统和存储介质，旨在解决现有的大批量单证分类效率低下的技术问题。

为实现上述目的，本发明提供一种多模态单证分类方法，所述方法包括：

对N个待分类单证图像进行粗分类，获得第一粗分类单证图像；

提取所述第一粗分类单证图像进行文本检测，获得至少一个文本区域；

将每一所述文本区域进行分割，获得至少一个文本图像块；

将所述文本图像块输入预先训练的字段识别模型进行类别细分，获得细分标签；

根据所述细分标签确定所述待分类单针图像的目标类别，获得目标分类单证图像。

可选地，所述对N个待分类单证图像进行粗分类，获得第一粗分类单证图像，所述方法包括：

对所述待分类单证图像进行图像切割，获得至少一个待选定区域；

根据预设的抑制条件对所述待选定区域进行冗余去除，获得至少一个选定区域；

将所述选定区域输入至预先训练好的分类模型，获得所述选定区域的第一置信度，所述第一置信度用于确定所述待分类单证图像为所述粗分类中第一粗分类的概率；

提取满足预设条件的所述第一置信度对应的所述待分类单证图像，获得第一粗分类单证图像。

可选地，所述提取所述第一粗分类单证图像进行文本检测，获得至少一个文本区域，所述方法包括：

对所述第一粗分类单证图像进行特征提取，获得至少一个特征图像块；

根据所述特征图像块对所述第一分类单证图像进行旋转角度预测，获得调整角度；

根据所述调整角度对所述第一粗分类单证图像像进行角度调整；

对角度调整后的所述第一粗分类单证图像进行文字检测，获得至少一个包括文字的文本区域。

可选地，所述将每一所述文本区域进行分割，获得至少一个文本图像块，所述方法包括：

提取所述文本区域的浅层特征，获得文本浅层特征集；

根据所述文本浅层特征集对所述文本区域进行实例预测，获得至少一个文本实例；

根据所述文本区域的坐标对所述文本实例进行分割，获得至少一个文本图像块。