[发明专利]多模态货币识别系统、方法、存储介质和终端

权利要求书

1.一种基于纹理感知和开集识别的多模态货币识别系统，其特征在于：系统包括电信连接的图像采集模块、图像处理模块、货币识别模块和结果输出模块，其中，

所述图像采集模块采用多模态传感器，用于生成待识别货币的多模态特征图；

所述图像处理模块包括图像预处理单元和特征提取单元，所述图像预处理单元对接收到的多模态特征图进行统一化预处理，所述特征提取单元通过图像处理算法的主干网络采集图像的全局特征，并通过图像处理算法的纹理感知模块采集图像的局部特征；

所述货币识别模块包括存储单元和对比判定单元，其中在所述存储单元中存储模板库和测试库，所述对比判定单元将接收的特征信息与模板库的货币特征进行比较，判定待测货币的分类和面值；

所述结果输出模块通过显示单元将货币识别模块的识别结果可视化呈现。

2.根据权利要求1所述的系统，其特征在于：所述多模态传感器包括可见光传感器、红外光传感器和紫外光传感器，用于采集货币正反两面的多模态特征图。

3.根据权利要求2所述的系统，其特征在于：所述图像处理模块的主干网络采用10通道的识别类神经网络，接收的图像特征包括货币正反两面对应的可见光RGB三通道图像特征、红外光图像特征和紫外光图像特征共计10通道的图像特征信息。

4.根据权利要求3所述的系统，其特征在于：所述图像处理模块的纹理感知模块构成为：

f₁(x,n)＝VConv_{size＝(1,2n-1)}(x) (1)

f₂(x,n)＝BConv_{size＝(2n-1,1)}(x) (2)

f₃(x,n)＝BConv_{dilate＝2n-1}(x) (3)

x₁,x₂,x₃,x₄＝Splited(X) (4)

RF＝f₁(X,1)+Cat_n＝1,2,3,4F_n (6)

式中，n∈[1,2,3,4]表示分支序号，

公式(1)表示卷积核尺寸为(1,2n-1)的卷积操作以及归一化操作；

公式(2)表示卷积核尺寸为(2n-1,1)的卷积操作以及归一化操作；

公式(3)表示卷积核尺寸为(3,3),膨胀率为2n-1的卷积操作以及归一化操作；

公式(4)表示输入特征X被切割为x_n；

公式(5)表示纹理感知模块中的分支网络；

公式(6)表示引入残差机制的纹理感知模块。

5.根据权利要求4所述的系统，其特征在于：所述图像处理模块对应的算法模型参数包括迭代次数、学习率、损失函数和训练优化函数，其中，损失函数采用Triplet loss函数，训练优化函数采用SGD法，并通过反向传播更新模型内部的参数。

6.根据权利要求4所述的系统，其特征在于：所述货币识别模块采用包括余弦相似计算单元、比较单元和阈值判定单元开集识别算法，所述余弦相似计算单元用于计算待测货币特征的余弦相似度并排序，所述比较单元用于提取余弦相似度得分最高值并与模板库中的模板标签匹配，所述阈值判定单元用于设定阈值并提取有效匹配结果。