[发明专利]一种多模态单证分类方法、系统、计算机设备及存储介质

权利要求书

1.一种多模态单证分类方法，其特征在于，所述方法包括：

对N个待分类单证图像进行粗分类，获得第一粗分类单证图像；

提取所述第一粗分类单证图像进行文本检测，获得至少一个文本区域；

将每一所述文本区域进行分割，获得至少一个文本图像块；

将所述文本图像块输入预先训练的字段识别模型进行类别细分，获得细分标签；

根据所述细分标签确定所述待分类单针图像的目标类别，获得目标分类单证图像。

2.如权利要求1所述的一种多模态单证分类方法，其特征在于，所述对N个待分类单证图像进行粗分类，获得第一粗分类单证图像，包括：

对所述待分类单证图像进行图像切割，获得至少一个待选定区域；

根据预设的抑制条件对所述待选定区域进行冗余去除，获得至少一个选定区域；

将所述选定区域输入至预先训练好的分类模型，获得所述选定区域的第一置信度，所述第一置信度用于确定所述待分类单证图像为所述粗分类中第一粗分类的概率；

提取满足预设条件的所述第一置信度对应的所述待分类单证图像，获得第一粗分类单证图像。

3.如权利要求2所述的一种多模态单证分类方法，其特征在于，所述对N个待分类单证图像进行粗分类之后，所述方法还包括：

对所述待分类单证图像进行图像切割，获得至少一个待选定区域；

根据预设的抑制条件对所述待选定区域进行冗余去除，获得至少一个选定区域；

将所述选定区域输入至预先训练好的分类模型，获得所述选定区域的第二置信度，所述第一置信度用于确定所述待分类单证图像为所述粗分类中第二粗分类的概率；

提取满足预设条件的所述第二置信度对应的所述待分类单证图像，获得第二粗分类单证图像。

4.如权利要求1所述的一种多模态单证分类方法，其特征在于，所述提取所述第一粗分类单证图像进行文本检测，获得至少一个文本区域，包括：

对所述第一粗分类单证图像进行特征提取，获得至少一个特征图像块；

根据所述特征图像块对所述第一分类单证图像进行旋转角度预测，获得调整角度；

根据所述调整角度对所述第一粗分类单证图像像进行角度调整；

对角度调整后的所述第一粗分类单证图像进行文字检测，获得至少一个包括文字的文本区域。

5.如权利要求1所述的一种多模态单证分类方法，其特征在于，所述将每一所述文本区域进行分割，获得至少一个文本图像块，包括：

提取所述文本区域的浅层特征，获得文本浅层特征集；

根据所述文本浅层特征集对所述文本区域进行实例预测，获得至少一个文本实例；

根据所述文本区域的坐标对所述文本实例进行分割，获得至少一个文本图像块。

6.如权利要求1所述的一种多模态单证分类方法，其特征在于，所述根据所述细分标签确定所述待分类单针图像的目标类别，获得目标分类单证图像，包括：

基于所述细分标签将所述文本图像块中对应的字段进行提取，获得匹配字段；

提取预设匹配规则对所述匹配字段进行类别匹配；

若匹配成功，则获得目标分类单证图像；

若匹配失败，则提取所述匹配失败对应的所述第一粗分类单证输入所述分类模型进行分类，获得目标分类单证图像。

7.如权利要求1所述的一种多模态单证分类方法，其特征在于，所述字识别模型包括：深层卷积层、循环层和转录层，

所述将所述文本图像块输入预先训练的字段识别模型进行类别细分，获得细分标签，包括：

将所述文本图像块输入所述深层卷积层进行特征识别，获得特征序列；

利用所述循环层对所述特征序列进行标签预测，获得预测分布；

利用转录层将所述预测分布和所述特征序列进行去重整合，获得细分标签。