[发明专利]一种为半结构化数据构建NoSQL数据库索引的方法及装置

权利要求书

1.一种为半结构化数据构建NoSQL数据库索引的方法，其特征在于，包括以下步骤：

将半结构化源数据进行预处理，获得若干待存入数据库的文本段；

将所述预处理后的文本段存储至数据表中，所述数据表具有第一组合主键，每个文本段对应所述第一组合主键存储至相应的记录中；所述第一组合主键包括结构化线索主键和序列值主键；所述结构化线索主键标识结构化线索，所述结构化线索以确定的顺序被分割为若干连续区间，每一区间分配一个特定的键值作为结构化线索主键的键值；所述序列值主键，是为每个文本段赋予唯一对应所述文本段的序列值；

对所述预处理后的文本段或所述数据表建立倒排索引表，所述倒排索引表的主键为第二组合主键，所述第二组合主键包含结构化线索主键和关键字主键；所述倒排索引表中，对应上述各个主键的键值，记录相关的文本段序列标识作为索引值；关键字主键相同，但具有不同的结构化线索主键键值的索引值，在所述倒排索引表中位于不同的行。

2.根据权利要求1所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于：

所述第一组合主键包括数据源主键，所述数据源主键标识文本段的数据来源；

所述第二组合主键同样包含上述数据源主键，具有不同的数据来源主键键值的索引值，在所述倒排索引表中位于不同的行。

3.根据权利要求2所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，对这些文本段建立所述数据表和倒排索引表时，一次性读取同一数据来源的具有相同结构化线索主键键值的所有文本段。

4.根据权利要求2所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，所述第一组合主键中，所述数据源主键，具体采用文本段的数据源加上文本段的结构化线索原始值的哈希值；和/或在所述第二组合主键中，所述数据源主键，具体采用文本段的数据源加上关键字的哈希值。

5.根据权利要求1-4任意一项所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，所述结构化线索为文本段的源数据生成时间。

6.根据权利要求5所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，所述结构化线索以确定的顺序被分割为若干连续区间，是将文本段的源数据生成时间分为若干时间段；所述每一区间分配一个特定的键值作为结构化线索主键的键值，是以所述时间段的起点、终点、中点或者所述时间段内的任意一点的时间值作为所述特定的键值，或者为所述时间段确定一个唯一的标识符号作为所述特定的键值。

7.根据权利要求1所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，所述序列值以基值加偏移值的方式表示；所述基值与所述结构化线索主键键值对应，即，相同的结构化线索主键键值对应同一个基值；所述偏移值以如下方式获得：对应同一个结构化线索主键键值的每个文本段，以所述结构化线索原始值的顺序为依据，按照顺序赋予相应的偏移值。

8.根据权利要求1所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，所述倒排索引表中，记录相关文本段标识作为索引值的具体方法是：为对应同一个数据源主键键值，并且结构化线索主键键值相同的所有文本段，提供一个基值；同时，为这些文本段提供一个二进制比特数组，所述比特数组中，以第i位二进制数标识第i个文本段是否包含所在记录的关键字主键中所列的关键字。

9.根据权利要求1所述的为半结构化数据构建NoSQL数据库索引的方法，其特征在于，若对应同一个数据源主键并且具有相同的结构化线索主键的所有文本段，均包括某个关键字，则在倒排索引表对应所述关键字主键的记录中，其索引值记录为一个特殊符号，所述特殊符号表示所有文本段均包含所述关键字；或者，若对应同一个数据源主键并且具有相同的结构化线索主键的少量文本段，包括某个关键字，则直接记录以整数表示的文本段偏移值。