[发明专利]对大规模结构化和非结构化数据联合处理的系统及方法

权利要求书

1.对大规模结构化和非结构化数据联合处理的系统，其特征在于：包括数据联合模块、关键词提取模块、关键词索引建立模块、海量数据存储模块以及查询处理模块。

2.对大规模结构化和非结构化数据联合处理的方法，其特征在于，数据存储过程包括如下步骤：

1)数据联合模块读取结构化数据和非结构化数据，通过结构化数据标识信息将非结构化数据和结构化数据进行联合，形成记录数据，联合的方法是将结构化数据中查询可能使用的字段提取出来，和非结构化文本信息组合起来，形成一个存储结构；

2)给每条记录数据赋予一个全局唯一的记录标识，将非结构化数据和该记录标识结合形成内容数据；

3)将记录数据存入海量数据存储模块中，将内容数据发送给关键词提取模块；

4)关键词提取模块接收到内容数据以后，对其中的文本进行分词，并根据分词后各个词的权重信息，提取出能够代表文本大意的关键词信息，形成记录标识和该条记录所包含的关键词对应关系数据，并将其发送给关键词索引建立模块；

5)关键词索引建立模块接收关键词数据，对数据进行倒排，形成关键词和记录标识的对应关系数据，并将其存入海量数据存储模块中。

3.如权利要求2所述的对大规模结构化和非结构化数据联合处理的方法，其特征在于：海量数据存储模块中包含联合数据表以及关键词索引表；联合数据表存储记录数据，关键词索引表存储关键词索引数据。

4.如权利要求2所述的对大规模结构化和非结构化数据联合处理的方法，其特征在于，进行数据检索时，包括如下步骤：

1)从查询请求中获取关键词条件和结构化查询条件，从关键词条件中分离出不重复的关键词，生成关键词列表；同时保存关键词逻辑关系以及结构化查询条件；

2)根据分离出的关键词列表，从关键词索引表中查询所有关键词对应的记录标识，生成关键词对应的记录标识列表；

3)根据关键词逻辑关系，对关键词查询到的关键词对应记录标识列表做集合运算，关键词为“与”关系，则对应的记录标识列表做交集运算，关键词为“或”关系，则对应的记录标识列表做并集运算，获取最终符合关键词条件的记录标识集合；

4)对符合关键词条件的记录标识集合中的每个记录标识，结合结构化查询条件做过滤，查询联合数据表，获取最终符合全部查询条件的记录。