[发明专利]对大规模结构化和非结构化数据联合处理的系统及方法

摘要

本申请公开一种对大规模结构化和非结构化数据联合处理的系统及方法，包括数据联合模块、关键词提取模块、关键词索引建立模块、海量数据存储模块以及查询处理模块。数据联合模块读取结构化和非结构化数据，并形成记录数据和内容数据；关键词提取模块对内容数据进行分词，形成记录标识和该条记录所包含的关键词对应关系数据；关键词索引建立模块接收关键词数据，对数据进行倒排，形成关键词和记录标识的对应关系数据，并将其存入关键词索引表。通过本专利申请的方法，能够快速有效的对大规模的非结构化文本数据和结构化数据进行联合处理和检索，解决了现有系统无法将二者进行高效联合处理的问题。

主权项

对大规模结构化和非结构化数据联合处理的系统，其特征在于：包括数据联合模块、关键词提取模块、关键词索引建立模块、海量数据存储模块以及查询处理模块，其中：1)数据联合模块读取结构化数据和非结构化数据，通过结构化数据标识信息将非结构化数据和结构化数据进行联合，形成记录数据；2)给每条记录数据赋予一个全局唯一的记录标识，将非结构化数据和该记录标识结合形成内容数据；将记录数据存入海量数据存储模块中，将内容数据发送给关键词提取模块；3)关键词提取模块接收到内容数据以后，对其中的文本进行分词，并根据分词后各个词的权重信息，提取出能够代表文本大意的关键词信息，形成记录标识和该条记录所包含的关键词对应关系数据，并将其发送给关键词索引建立模块；4)关键词索引建立模块接收关键词数据，对数据进行倒排，形成关键词和记录标识的对应关系数据，并将其存入海量数据存储模块中。