[发明专利]一种基于深度学习的发票批量自动识别系统

权利要求书

1.一种基于深度学习的发票批量自动识别系统，其特征在于，包括：

发票图像获取模块，用于获取发票的扫描图并进行格式转换，得到发票图像进行保存；然后对发票图像进行摆正处理和归一化处理；

预处理与定位模块，用于对归一化后的发票图像进行倾斜校正和数字区域定位；

字符切割模块，用于对所述的数字区域中的字符进行切割，得到切割后的字符图像；

字符识别模块，用于通过CNN卷积神经网络对切割后的字符图像进行字符识别；

输出模块，用于将识别出的字符记录到Excel表格的对应位置，并对字符进行准确性判定与人工更正；

所述的对发票图像进行摆正处理和归一化处理，包括：

利用openCV的最小轮廓定位与仿射变换方法，得到摆正后的发票图像；

所述的归一化处理为：

检测发票图像的长度L、宽度R，计算长宽比例K=L/R；

若比例K1.75，表示发票图像所对应的发票正常，将发票图像归一化至1200×700像素；

若比例K1.75，表示发票图像所对应的发票不正常，即发票两侧带圆孔的纸条被撕掉；此时在发票图像左右两端分别填充长度为(1.714*R-L)/2、宽度为R的白色纸条图像，再将所述的发票图像与白色纸条图像共同归一化至1200×700像素；

将发票图像转换至R通道，若在发票图像的表头位置检测不到像素点，表示发票图像中发票进行了倒置，此时将发票图像旋转180°；

所述的发票图像进行倾斜校正，包括：

读取归一化后的发票图像并进行灰度转换；

利用sobel算子在y方向上的差分阶数，去掉发票图像中的竖线，只检测横线；

利用OpenCV提供的HoughLinesP()函数，检测所述的横线中长度大于550像素的直线；

计算所述直线的平均斜率，根据平均斜率对所述的发票图像进行旋转校正；

所述的数字区域定位，包括：

数字区域定位包括两个步骤：首先设定初始范围以进行粗定位，然后采用模板匹配法进行细定位，具体过程如下：

粗定位：对于发票图像上的每一个主要信息，设定一个包含该主要信息所在位置的初始范围，以对每一个主要信息进行粗定位；

细定位：建立每一个主要信息中特定标记的图像模块，利用图像模块在该主要信息的初始范围内采用标准平方差匹配法进行匹配，以匹配度最高的位置右侧的数字区域作为主要信息的图像；

对所述的数字区域中的字符进行切割，得到切割后的字符图像，包括：

对于每个细定位得到的主要信息的图像，进行竖直方向的投影，即计算每列存在的像素点数V(x)；

从左向右开始对一行字符进行水平扫描，一开始投影V(x)为0，直到V(x)不为0时，即为一个字符的起点，继续向右扫描至V(x)再次为0时，即为字符的终点；向右继续扫描，可扫描出每一个字符；对水平扫描到的每个字符进行标记，将每个字符起点、终点作为竖直切割点；根据每个字符的竖直切割点，对每个字符进行竖直切割；

对于每个经过竖直切割后的字符，再进行水平方向的投影，然后由上向下进行竖直扫描，以获得每个字符的水平切割点；然后根据水平切割点再对字符进行水平切割，由此得到切割后的字符图像；

所述的CNN卷积神经网络采用AlexNet卷积神经网络，AlexNet的参数设置为：batch大小为256，迭代1000次，Learning rate初始化为0.001，采用step算法，每500次迭代衰减一次；Momentum值为0.9，weight decay为0.0005，每500个迭代输出一个snapshot。

2.如权利要求1所述的基于深度学习的发票批量自动识别系统，所述的对字符进行准确性判定与人工更正，包括：

若在Excel表格中识别出的一张发票图像的所有字符信息中：

发票金额+发票税额≠价税合计，则说明发票金额、发票税额、价税合计三个信息至少一个识别错误，则输出错误信息；

将购买方纳税人识别号、销售方纳税人识别号分别在纳税人信息表格中进行匹配，匹配度高于89%时，认为匹配成功，此时记录购买方纳税人识别号、销售方纳税人识别号在纳税人信息表格中对应的购买方纳税人名称、销售方纳税人名称；如匹配不成功，则输出错误信息；

对于所述的错误信息，在输出模块的显示界面进行人工检查和更正。

3.如权利要求1所述的基于深度学习的发票批量自动识别系统，所述的对字符进行准确性判定与人工更正，还包括：

识别出的两个发票号码相同，若不同，则至少一个识别错误，输出错误信息，进行人工检查和更正；

计算开票日期与当前日期的差值，大于设定的日期时，进行记录。