[发明专利]一种半结构化数据快速联合处理的方法及系统

摘要

本发明公开了一种半结构化数据快速联合处理的方法及系统，其中，所述方法包括：从待处理数据中提取半结构化数据，将所述半结构化数据区分为用结构化数据+非结构化数据模式描述的数据；对用所述结构化数据+非结构化数据模式描述的数据采用MPP+HADOOP混合体系进行处理。

主权项

1.一种半结构化数据快速联合处理的方法，其特征在于，所述方法包括：从待处理数据中提取半结构化数据；对于写操作请求，将所述半结构化数据区分为用结构化数据+非结构化数据模式描述的数据，包括：通过数据处理引擎对所述半结构化数据进行分拆，得到所述结构化数据和所述非结构化数据；对用所述结构化数据+非结构化数据模式描述的数据采用MPP+HADOOP混合体系进行处理；其中，所述通过数据处理引擎对所述半结构化数据进行分拆，得到所述结构化数据和所述非结构化数据，包括：列出所述半结构化数据中所有的分拆行键，按照行标识符和列标识符创建得到的新的非结构化文件和结构化文件；对于所有需要分拆的行继续处理，将所有的分拆行中的所有列读出放到新的非结构化文件，并存放相关的元数据信息到元数据处理模块；将所有的其他行读出放到新的结构化文件，并存放相关的元数据信息到元数据处理模块。