[发明专利]基于编解码结构的发票文本识别方法及装置

权利要求书

1.一种基于编解码结构的发票文本识别方法，其特征在于：包括如下步骤，S1发票文本图片预处理，处理器获取发票文本图片，对票文本图片进行预处理并获得预处理图片，预处理包括二值化处理、降噪处理和图像矫正处理；S2文本图片特征提取，处理器将预处理图片处理为统一尺寸的制式图片，处理器将制式图片输入至用于提取特征的第一卷积神经网络，第一卷积神经网络对制式图片进行特征提取并获得三维特征向量矩阵F；在步骤S2中，将预处理图片的长、宽相应调整至160x48个像素点，三维特征向量矩阵F为40*6*512的特征矩阵，包含了制式图片的全部信息，所述第一卷积神经网络包括用于提取特征的第一至第五卷积层、第一至第三最大池化层和第一至第三残差块，用于提取特征的第一卷积层、第二卷积层、第一最大池化层、第一残差块、第三卷积层、第二最大池化层、第二残差块、第四卷积层、第三最大池化层、第三残差块和第五卷积层依次连接，用于提取特征的第一卷积层为3x3卷积核且64输出通道的卷积层，用于提取特征的第二卷积层为3x3卷积核且128输出通道的卷积层，用于提取特征的第三卷积层为3x3卷积核且128输出通道的卷积层，用于提取特征的第四卷积层为3x3卷积核且512输出通道的卷积层，用于提取特征的第五卷积层为3x3卷积核且512输出通道的卷积层，用于提取特征的第一最大池化层为2x2卷积核且2x2步长的池化层，用于提取特征的第二最大池化层为2x2卷积核且2x2步长的池化层，用于提取特征的第三最大池化层为1x2卷积核且1x2步长的池化层，用于提取特征的第一残差块为由两层3x3卷积核且256输出通道的卷积神经网络通过直连分支连接而成的残差块，用于提取特征的第二残差块为由两层3x3卷积核且512输出通道的卷积神经网络通过直连分支连接而成的残差块，用于提取特征的第三残差块为由两层3x3卷积核且512输出通道的卷积神经网络通过直连分支连接而成的残差块；S3卷积神经网络特征编码，处理器将三维特征向量矩阵F输入至用于转换特征向量的第二卷积神经网络，第二卷积神经网络将三维特征向量矩阵F转换为可供门控循环神经网络序列解码输入的待解码特征向量G；在步骤S3中，待解码特征向量G为1*1*512的特征向量，所述第二卷积神经网络包括用于转换特征向量的第一至第三卷积层和第一至第三最大池化层，用于转换特征向量的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层和第三最大池化层依次连接，用于转换特征向量的第一卷积层为3x3卷积核且512输出通道的卷积层，用于转换特征向量的第二卷积层为3x3卷积核且512输出通道的卷积层，用于转换特征向量的第三卷积层为3x3卷积核且512输出通道的卷积层，用于转换特征向量的第一最大池化层为2x2卷积核且2x2步长的池化层，用于转换特征向量的第二最大池化层为2x1卷积核且2x1步长的池化层，用于转换特征向量的第三最大池化层为5x3卷积核且5x3步长的池化层；在S4步骤中，所述门控循环神经网路包含了五十个门控神经网络单元分别是第一至第五十门控神经网络单元，第一门控神经网络单元至第五十门控神经网络单元依次连接；S4门控循环神经网络序列解码，处理器将待解码特征向量G输入至门控循环神经网络，门控循环神经网络解码并获得发票文本图片中对应的文字。