[发明专利]基于联合学习的卡片识别装置及方法

权利要求书

1.一种基于联合学习的卡片识别装置，其特征在于，所述装置包含：图像扫描模块、数据预处理模块、模型生成模块和结果输出模块；

所述图像扫描模块用于采集预定卡片的电子影像数据；

所述数据预处理模块用于根据预设标注规则对所述电子影像数据中对应图像区域进行标注生成训练图像数据；

所述模型生成模块用于提取所述训练图像数据中的图像噪声的结构信息和视觉信息；通过预设的神经网络模型中嵌入层分析所述结构信息和视觉信息，于所述训练图像数据中文本边框内获得图像特征、语义特征、文本向量特征和位置特征；利用所述图像特征、所述语义特征、所述文本向量特征和所述位置特征训练所述神经网络模型获得卡片识别模型；

所述结果输出模块用于通过所述卡片识别模型分析待识别卡片的电子影像数据，获得识别结果；

所述模型生成模块包含图像特征提取单元、语义特征提取单元、文本特征提取单元和位置特征提取单元；

所述图像特征提取单元用于提取所述训练图像数据中文本边框内的图像信息，根据所述图像信息中噪声特征设定权值系数，通过所述权值系数筛除所述图像信息中噪声影像获得图像特征；

所述语义特征提取单元用于根据所述图像信息中的文本内容，获得对应的文本语义特征；

所述文本特征提取单元用于将所述文本内容分割为字符，并将每个字符转化为向量后生成文本向量特征；

所述位置特征提取单元用于根据所述图像信息中文本的坐标信息生成位置特征。

2.根据权利要求1所述的基于联合学习的卡片识别装置，其特征在于，所述图像特征提取单元还包含：

根据所述图像信息中的直观特征和属性特征获得所述噪声特征；

通过计算噪声特征和图像信息中正文内容的像素矩阵差异，为噪声特征和正文内容分别设定权值系数。

3.根据权利要求2所述的基于联合学习的卡片识别装置，其特征在于，所述直观特征包含图像噪声的尺寸、颜色、字体、粒度、形状中一种或多种的组合；所述属性特征包含水滴型、侵染型、折损型、破损型、污染型中一种或多种的组合。

4.根据权利要求1所述的基于联合学习的卡片识别装置，其特征在于，所述模型生成模块包含训练单元，所述训练单元用于根据预设迭代轮次，通过预定数量的样本训练所述神经网络模型；当所述神经网络模型完成迭代轮次的训练后且识别准确率高于或等于预设基线时，根据所述神经网络模型获得卡片识别模型。

5.一种基于联合学习的卡片识别方法，其特征在于，所述方法包含：

采集预定卡片的电子影像数据；

根据预设标注规则对所述电子影像数据中对应图像区域进行标注生成训练图像数据；

提取所述训练图像数据中的图像噪声的结构信息和视觉信息；

通过预设的神经网络模型中嵌入层分析所述结构信息和视觉信息，于所述训练图像数据中文本边框内获得图像特征、语义特征、文本向量特征和位置特征；

利用所述图像特征、所述语义特征、所述文本向量特征和所述位置特征训练所述神经网络模型获得卡片识别模型；

通过所述卡片识别模型分析待识别卡片的电子影像数据，获得识别结果；

通过预设的神经网络模型中嵌入层分析所述结构信息和视觉信息，于所述训练图像数据中文本边框内获得图像特征、语义特征、文本向量特征和位置特征包含：

提取所述训练图像数据中文本边框内的图像信息，根据所述图像信息中噪声特征设定权值系数，通过所述权值系数筛除所述图像信息中噪声影像获得图像特征；

根据所述图像信息中的文本内容，获得对应的文本语义特征；

将所述文本内容分割为字符，并将每个字符转化为向量后生成文本向量特征；

根据所述图像信息中文本的坐标信息生成位置特征。

6.根据权利要求5所述的基于联合学习的卡片识别方法，其特征在于，根据所述图像信息中噪声特征设定权值系数包含：

根据所述图像信息中的直观特征和属性特征获得所述噪声特征；

通过计算噪声特征和图像信息中正文内容的像素矩阵差异，为噪声特征和正文内容分别设定权值系数。