[发明专利]针对质量数据的结构化、非结构化数据统一解析方法

说明书

本发明公开了一种针对质量数据的结构化、非结构化数据统一解析方法，包括步骤：定义Node对象数据结构，将不同格式数据转换成统一数据结构；基于叶子节点查询方法，并根据叶子节点关联查询并设置属性，将Node对象进行关联，形成树形列表；存储生成的树形列表；查询检验点及其嵌套的数据。本发明屏蔽了各种格式的数据来源，使用统一的数据解析格式，基于tree容器进行嵌套递归，便于数据解析与存储，本发明主要用于解决质量数据上传的差异性以及由该差异性导致的数据存储困难问题。

技术领域

本发明属于数据处理领域，具体涉及一种针对质量数据的结构化、非结构化数据统一解析方法。

背景技术

产品的质量数据是工业制造过程中至关重要用来把握和分析产品质量的基础。目前质量数据的种类较多，对于上传到管控系统的质量数据，很难进行数据存储和分析。针对每一种质量数据，都需要定制化的数据结构设计，使得效率低下且容易出错。

目前还没有一种很好的数据统一解析方法，来解决不同格式质量数据解析存储问题，所以如何实现面向不同格式质量数据进行数据统一解析，成为本领域技术人员努力的方向。

发明内容

本发明的目的在于提供一种针对质量数据的结构化、非结构化数据统一解析方法，用于解决质量数据上传的差异性以及由该差异性导致的数据存储困难问题，便于数据解析与存储。

实现本发明目的的技术解决方案为：一种针对质量数据的结构化、非结构化数据统一解析方法，包括以下步骤：

定义Node对象数据结构，将不同格式数据转换成统一数据结构；

基于叶子节点查询方法，并根据叶子节点关联查询并设置属性，将Node对象进行关联，形成树形列表；

存储生成的树形列表；

查询检验点及其嵌套的数据。

进一步的，所述Node对象数据结构包括数据属性、标识检验点数据、节点信息、生产或检验过程中涉及的信息以及检测信息。

进一步的，所述数据属性包括表单名称、产品型号、产品代码、产品名称、单件产品编号、测试时间及数据类型；所述标识检验点数据包括表示父子关系的唯一标识、检验点节点号、检验点名称、检验点检测结果、父节点信息、是否含有子节点及子节点信息，所述生产或检验过程中涉及的信息包括人、设备及物料信息，所述检测信息包括检验项编号、检验项名称、检验项值单位、指标值及测试条件。

进一步的，所述基于叶子节点查询方法，并根据叶子节点关联查询并设置属性，将Node 对象进行关联，形成树形列表，具体包括：遍历Node列表，获取节点号并拆分得到父子节点号，根据当前节点递归得到叶子节点，并根据该叶子节点，递归得到所有以其为尾的列表，过滤得到以当前节点号为头的列表，添加到新的node列表中，遍历结束得到树形列表。

进一步的，所述获取节点号并拆分得到父子节点号，根据当前节点递归得到叶子节点具体为：将当前节点作为递归初始参数，拆分当前节点号得到父子节点，依次递归，直到没有子节点，得到叶子节点。

进一步的，所述根据该叶子节点，递归得到所有以其为尾的列表具体为：根据叶子节点的节点号进行拆分得到父节点、当前节点和子节点的唯一标识，根据父节点依次向前递归得到所有以该叶子节点结尾的列表。

进一步的，采用MongoDB数据库存储生成的树形列表。

进一步的，所述MongoDB数据库将树形列表以文档形式存储。

进一步的，所述不同格式数据包括Text文本格式数据、Excel格式数据、kv格式数据、 pdf格式数据及图片格式数据。

进一步的，所述Excel格式数据转换时将Excel的嵌套父子关系转换为Node对象数据结构中的数据属性。