[发明专利]票据照片关键信息提取系统及方法

说明书

一种票据照片关键信息提取系统及方法，包括：前端模块以及由通信单元、文本检测单元、识别单元、关键信息提取单元以及回馈单元组成的票据关键信息提取模块，前端模块采集图片并通过通信单元发送至文本检测单元，文本检测单元进行文本检测神经网络推理并得到图片中文本内容块的坐标位置，并相应裁剪图片后通过通信单元发送至识别单元，识别单元从裁剪图片中识别出文本转录内容并通过通信单元发送至关键信息提取单元，关键信息提取单元根据文本内容块的坐标位置和文本转录内容通过关键信息提取网络进行推理并得到关键信息并通过通信单元发送至前端模块进行显示，回馈单元与通信单元相连并采集用户对关键信息的判断结果后更新数据库。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种票据照片关键信息提取系统及方法。

背景技术

现有的票据关键信息提取技术的主要特点是：通过文本识别检测技术获得整张票据上的文字内容。通过模板匹配或者正则表达式来提取关键信息。

这类技术的主要缺陷和不足为：通过模板匹配的方式的方法只能从固定模板类型的票据上提取出关键信息。一旦票据图片的版式不符合系统中含有的模板，就无法正确提取出正确的关键信息。正则表达式匹配来提取关键信息的方法需要人为分析关键信息的格式，设计正则表达式。一旦出现超过正则表达式的关键信息，就无法正确提取出正确的关键信息。

发明内容

本发明针对现有技术存在的上述不足，提出一种票据照片关键信息提取系统及方法，通过深度神经网络，将文本内容和文本内容位置的结构化信息相结合以提升准确度，能够适应不同方式的文本内容位置信息结合以及多种词向量的转换方式。

本发明是通过以下技术方案实现的：

本发明涉及一种票据照片关键信息提取系统，包括：前端模块以及由通信单元、文本检测单元、识别单元、关键信息提取单元以及回馈单元组成的票据关键信息提取模块，其中：前端模块采集图片并通过通信单元发送至文本检测单元，文本检测单元进行文本检测神经网络推理并得到图片中文本内容块的坐标位置，并相应裁剪图片后通过通信单元发送至识别单元，识别单元从裁剪图片中识别出文本转录内容并通过通信单元发送至关键信息提取单元，关键信息提取单元根据文本内容块的坐标位置和文本转录内容通过关键信息提取网络进行推理并得到关键信息并通过通信单元发送至前端模块进行显示，回馈单元与通信单元相连并采集用户对关键信息的判断结果后更新数据库。

技术效果

与现有技术相比，本发明能够从无固定格式的票据图片中提取出关键信息，关键信息提取方法结合了富文本内容中的二维位置信息，可以选择性使用字向量，词向量，位置向量。位置向量添加的位置可以灵活变动并且结合方式多样，通过回馈机制进一步方便数据集的后续收集增广，减少人工标注的耗时，方便分析错误情况。

附图说明

图1为本发明系统示意图；

图2为本发明方法流程图；

图3为商场票据关键信息提取的APP界面和演示效果的示意图。

具体实施方式

如图1所示，为本实施例涉及的一种商场票据关键信息提取系统，包括：用于用户进行交互的前端模块和使用分层式的票据关键信息提取模块，其中：前端模块通过人机交互界面获得输入图像并输出提取出的信息，商场票据关键信息提取模块根据获得的图片信息，进行文本检测识别和关键信息网络推理并得到提取出来的关键信息结果。

所述的前端模块，包括：拍摄单元、相册单元、上传单元、显示单元以及判断单元，其中：拍摄单元调取前端设备的摄像头进行拍摄，相册单元读取前端设备的存储内容，选择其中的图片，上传单元将拍摄单元拍摄的图片或者相册单元选择的图片上传到服务器，显示单元从服务器接收关键信息提取结果后显示在前端界面上，判断单元接收用户对关键信息的判断，上传单元与判断单元相连，将用户的判断结果上传至服务器。