[发明专利]一种树状结构数据处理方法及系统

摘要

本发明提出一种树状结构数据处理方法及系统(System for TrEE structured Data,STEED),涉及数据处理技术领域，该系统支持读取文本数据，并将其解析为行式或者列式的二进制格式数据，其中在解析的过程中，动态生成语法树，存储半结构化数据的定义；存储行式或列式的所述二进制格式数据，其中实现对行式或列式的所述二进制格式数据相互转换，以及将所述二进制格式数据直接输出为文本格式的JSON数据；基于所述二进制格式数据，对半结构化数据进行查询操作。

主权项

1.一种树状结构数据处理方法，其特征在于，包括：/n步骤1，设置用于描述与定义Protocol Buffers与JSON文本数据中域的二进制数据类型、嵌套结构的定义；建立半结构化数据的定义，其中对于Protocol Buffers的文本数据，在解析数据前首先根据其语法树定义文件中对语法树定义动态生成语法树，JSON格式的数据在数据解析的过程中根据其数据中的格式与内容动态生成JSON格式的数据语法树的定义；读取半结构化数据，并将其解析为行式或者列式的二进制格式数据，其中在解析的过程中，动态生成或根据定义建立语法树，包括：建立JSON语法树：在解析数据的过程中通过数据动态的建立语法树，其中假设每个域的值的类型是不会改变的且数组中的成员类型都是一致的，在建立语法树的过程中，根据数据中值的类型确定其值的类型，且将值为数组的JSON的域定义为重复出现，其余节点均定义为不一定会出现，在解析过程中，先根据parent父亲节点ID与field name对应的域名通过符号表查找有无相关的结构定义，如果没有，则向语法树中添加相关的节点，否则对节点的值进行解析；建立Protocol Buffers语法树：Protocol Buffers在proto文件中定义message作为新的数据类型，其中包含的每个域为基本的数据类型或其他的复合类型的数据，在建立Protocol Buffers语法树的过程中，首先解析proto文件，扩展新的数据类型，之后再按照指定的根节点将数据类型的定义逐一扩展并组装成为数据结构的语法树；以及存储半结构化数据的定义，包括：定义填充半结构化数据中语法树的每一个节点，节点中不但描述节点本身的相关信息，还通过语法树中节点的ID将节点相互关联，形成树型结构；/n步骤2，存储行式或列式的所述二进制格式数据，其中实现对行式或列式的所述二进制格式数据相互转换，以及将所述二进制格式数据直接输出为文本格式的JSON数据；/n步骤3，基于所述二进制格式数据，对半结构化数据进行查询操作。/n