[发明专利]基于AR技术的单据辅助填写方法、系统、存储介质及装置

说明书

本发明的一种基于AR技术的单据辅助填写方法、系统、存储介质及装置，其中方法基于AR终端，包括使用输入电子版单据图片或单据扫描校正后的图片，创建单据模板；并在单据模板图片上标注需要进行数据识别区域，进行编号及记录坐标；使用数据识别区域编号编辑多个数值计算公式；填写单据的用户将系统切换到辅助填写工作模式，通过AR终端摄像机拍摄到的单据图像使用手写票据数值信息识别与检错方法，并将识别区域的识别数值、核对区域的计算结果实时显示在AR终端上。本发明基于AR技术的单据辅助填写，按公式进行自动计算，基于AR技术的单据数值核对，按公式进行自动计算并标注错误；本发明可运行在所有AR终端上，方便灵活、避免出错及实时性强。

技术领域

本发明涉及数字识别技术领域，具体涉及一种基于AR技术的单据辅助填写方法、系统、存储介质及装置。

背景技术

目前，手工填写纸质单据仍然是大多数企业费用报销采用的主要方式，采购、出差频繁的工作人员每月都需要花费不少时间在填写报销单上，财务人员也需要花费很多时间检查单据是否填写正确。现有票据识别技术与手写数字识别技术均无法辅助工作人员填写和检查单据。

现有的技术如CN113240188A-基于增强现实AR的填单处理方法及装置，该技术方案仅适用于银行场景，使用的是投影AR，可拓展性差，功能上仅可以显示填单模板，不具备公式计算与检查功能。

相关技术说明：

AR技术：即增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是在屏幕上把虚拟世界套在现实世界并进行互动，可以更加生动具体的进行展示。AR技术的硬件载体可以是智能手机、AR眼镜、AR头显、AR投影等终端设备。

发明内容

本发明提出的一种基于AR技术的单据辅助填写方法，可辅助工作人员填写和检查单据，为手写单据的填写与审核带来极大便利和效率提升。

为实现上述目的，本发明采用了以下技术方案：

一种基于AR技术的单据辅助填写方法，包括基于AR终端，其特征在于：包括创建单据模板流程和辅助填写流程，

其中，创建单据模板流程包括使用输入电子版单据图片或单据扫描校正后的图片，创建单据模板；并在单据模板图片上标注需要进行数据识别区域，进行编号及记录坐标；使用数据识别区域编号编辑多个数值计算公式；

辅助填写流程包括填写单据的用户将系统切换到辅助填写工作模式，在填写表单时，通过AR终端摄像机拍摄到的单据图像使用手写票据数值信息识别与检错方法，并将识别区域的识别数值、核对区域的计算结果实时显示在AR终端上。

进一步的，还包括单据核对流程，所述单据核对流程包括单据审核人员将系统切换到单据核对工作模式，通过AR终端摄像机拍摄到的单据图像使用手写票据数值信息识别与检错方法，将识别区域的识别数值、核对区域的计算结果实时显示在AR终端上，并标出错误标记区域；对标记签名鉴真的区域，使用签名鉴真AI模型进行判定，将签名置信度显示在AR终端对应位置上。

进一步的，所述手写票据数值信息识别与检错方法的步骤如下：

对手写票据进行扫描或拍照，得到待识别的票据图像；

对待识别的票据图像进行特征点提取，并将该特征点与事先预设的票据模板特征点进行匹配，确定特征点匹配数最高的票据模板；

使用特征点匹配结果计算单应性变换矩阵，使用单应性变换校正待识别的票据图像，得到与票据模板等宽高且坐标位置接近的校正图像；

根据特征点匹配数最高的票据模板的识别区域坐标对校正图像对应区域进行分割；

对分割出的区域图像进行手写字符识别得到识别结果；

根据模板预设的计算公式对识别结果进行逐一验证；