[发明专利]一种智慧监管黑匣子的非结构化资料汇集处理方法

说明书

本发明公开了一种智慧监管黑匣子的非结构化资料汇集处理方法。为了克服现有技术对非结构数据处理方式速度慢、效率低的问题；本发明通过对非结构化数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。

技术领域

本发明涉及一种数据汇集领域，尤其涉及一种智慧监管黑匣子的非结构化资料汇集处理方法。

背景技术

随着计算机技术和网络技术的发展，目前，各药品生产企业已经在企业内部生产线相关的操作中已采用无纸化的电子化处理模式，包括产品的生产过程资料、内部检验监测资料以及监管单位的抽检和申报动作等。但是在多台不同厂商、不同系统的生产设备间要想让数据统在某一中心则相当困难，需要熟悉不同业务系统数据标准，更需要对已生成的非结构化资料进行准确的解析。

目前药品生成企业所提供的整个药品生产过程资料多为非结构化数据，非结构化数据是指结构化数据以外的数据，数据结构不固定，无法使用关系数据库存储，只能够以各种类型的文件形式存放，如文档、文本文件、图片、PDF、图像格式等等。且非结构化数据只能通过手工处理，无法通过系统化的方式快速、高效的对非结构化数据进行处理。

例如，一种在中国专利文献上公开的“面向带有描述信息的海量非结构化数据分布式处理架构”，其公告号CN104216899A，包括数据采集模块，收集非结构化数据并发送至数据缓冲队列中；数据缓冲及预处理模块，暂存数据采集模块发送的数据，并可选择的对数据进行修复或二次处理工作；数据分离及归档存储模块，从前一个模块分布式队列中获取数据，可选择对非结构化数据和描述信息分离，分离后的数据转发或存储至后继模块，流处理模块，对最近接入的数据进行实时监测、比对、计算和处理；分布式数据存储模块，对非结构化数据和描述信息存储；分布式业务处理模块，包含业务处理器、数据访问单元和数据缓存组件；分布式消息中间件，接收前端请求供业务处理器选择执行，或将后台处理结果返回给前端。该方案对非结构数据处理方式速度慢、效率低。

发明内容

本发明主要解决现有技术对非结构数据处理方式速度慢、效率低的问题；提供一种智慧监管黑匣子的非结构化资料汇集处理方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种智慧监管黑匣子的非结构化资料汇集处理方法，包括以下步骤：

S1：根据非结构化的资料文档格式，通过对应的图文识别手段获取文本内容，并在标准模板格式的基础上对识别后的内容修正；

S2：将识别并修正后的结构化内容标注对应的模板，并保存到数据库中对应的行列坐标中；

S3：根据标记的行列坐标信息，逐个向历史数据库中对应的模板信息进行匹配，保存匹配后文件模板相应坐标对应的标签；

S4：根据匹配的情况，匹配到对应标签的坐标信息，修改对应坐标的标签；

S5：将标签与坐标对应的文本内容生成结构化的字段并将字段对应的栈值进行标记；

S6：完成从无序非结构化文本到结构化字段栏位的转换。

通过对非结构化数据的结构化，生成内部特定标准的结构化数据资料，并实现非结构化数据文件向结构化数据转换，提高非结构化文件的编制效率，实现非结构化资料解析效率的最大化，利于后续数据分析和挖掘处理。

作为优选，所述的非结构化资料文档包括文本文档、Word文档、Excel文档、PDF文档和图片文档；

Word文档通过Word API技术对Word文档的内容进行读取，并在程序中按语法要求将转换后的数据写入文本文档中；

Excel文档通过Excel API技术读取Excel文档中所有单元格的内容及格式，从而完成从Excel文档到文本文档的转换；

图片文档以二进制形式存储，通过OCR文字识别技术转换图片中的文本内容。