[发明专利]多模态货币识别系统、方法、存储介质和终端

说明书

本发明提供了一种多模态货币识别系统、方法、存储介质和终端，属于货币识别技术领域，本申请的系统及方法采用了纹理感知和开集识别技术，通过多模态特征融合，提高了深度特征的识别能力，纹理感知的多币种识别算法提高识别性能，开集识别算法通过少量样本即可实现新币种、新面值钞票的识别，整体开发成本低、识别精度高。

技术领域

本发明属于货币识别技术领域，具体涉及一种基于纹理感知和开集识别的多模态货币识别系统、方法、存储介质和终端。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术或先有技术。

随着经济全球化的发展，许多国家、地区或者组织的市面上往往流通着多个币种，然而国家之间，地区之间的币种种类繁多，甚至某些币种之间具有一定的相似性，所以这就导致了无法通过人工识别的方式有效的识别大量的币种及其面值，因此如何高效的清分多币种、币种面值和真假是企业和银行等金融组织亟待解决的问题。然而在当前的币种识别系统在使用过程中依然存在一些问题，原因如下：

1、多币种、多面值识别性能有待提高：参见图1，市场上的识别算法通常采用的是ResNet、VGGNet等拥有大量参数的深度卷积神经网络，然而深度卷积神经网络采用的卷积操作通过权值共享获得的是全局特征，因此在货币样本识别过程中随着网络结构深度的加深，逐渐丢失了货币中的纹理特征(局部特征)，这就导致了当货币与货币之间具有一定相似度时(尤其是颜色特征相似度较高时)，识别算法的错误识别率较高。此外，通常的纸币识别方式往往采用闭集识别的方式，即已知待识别币种ID和面值，并且在训练时也是采用对应的ID和面值，然而这种采用闭集识别的方式是无法应对新币种ID和新面值的货币。

2、开发时间较长、开发成本高：为了获得较高的识别率，市场上往往是一种算法对应一个币种，因此导致了在多币种识别的市场中往往需要开发多个算法，多算法识别系统的开发不仅仅需要人力资源的投入，而且当新币种、新版本的货币出现时往往需要重新采集大量的数据集对模型进行训练，甚至需要重新设计算法，这就导致了识别系统的开发时间长、开发的成本高。因此需要一种能够解决在面临新币种、新面值货币时，算法不再需要重新训练的技术方案。

3、币种的采集和存储问题。通常的卷积神经网络算法往往采用数据驱动的模式，即通过采集大量的样本数据对模型进行训练，然而货币数据的采集往往会面临着诸多的问题，比如汇率的问题，大量货币存储时的安全问题等等，因此需要一种能够通过少量样本就能实现新币种、新面值货币识别的技术方案。

综上所诉，现在的多币种识别技术在应用过程中还存在诸多不足。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种多模态货币识别系统、方法、存储介质和终端，其能解决上述问题。

具体方案如下：

一种基于纹理感知和开集识别的多模态货币识别系统，系统包括电信连接的图像采集模块、图像处理模块、货币识别模块和结果输出模块，其中，所述图像采集模块采用多模态传感器，用于生成待识别货币的多模态特征图；所述图像处理模块包括图像预处理单元和特征提取单元，所述图像预处理单元对接收到的多模态特征图进行统一化预处理，所述特征提取单元通过图像处理算法的主干网络采集图像的全局特征，并通过图像处理算法的纹理感知模块采集图像的局部特征；所述货币识别模块包括存储单元和对比判定单元，其中在所述存储单元中存储模板库和测试库，所述对比判定单元将接收的特征信息与模板库的货币特征进行比较，判定待测货币的分类和面值；所述结果输出模块通过显示单元将货币识别模块的识别结果可视化呈现。

进一步的，所述多模态传感器包括可见光传感器、红外光传感器和紫外光传感器，用于采集货币正反两面的多模态特征图。

进一步的，所述图像处理模块的主干网络采用10通道的识别类神经网络，接收的图像特征包括货币正反两面对应的可见光RGB三通道图像特征、红外光图像特征和紫外光图像特征共计10通道的图像特征信息。