[发明专利]基于MPP与全文索引构建分布式OLAP数据分析的方法及装置

权利要求书

1.基于MPP与全文索引构建分布式OLAP数据分析的方法，其特征在于，该方法包括：

在搜索引擎建立索引，包含主键字段和至少一个全文查询字段；

将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎；

在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；根据返回的主键列表，在MPP数据库使用主键列表进行数据查询，并对查询后的数据进行分析。

2.根据权利要求1所述的基于MPP与全文索引构建分布式OLAP数据分析的方法，其特征在于，将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎，包括：

通过配置库对MPP数据库的表的主键字段和全文查询字段进行配置；

从数据源读取数据，允许多个并发，并转换为数据日志的格式，采用MMAP技术以追加的方式先写入缓存中，再定期刷新到磁盘中；

读取数据日志并解析，生成两份数据，分别为包含主键字段和全文查询字段的数据以及包含完整字段的数据；

将包含主键字段和全文查询字段的数据写入搜索引擎，将包含完整字段的数据写入MPP数据库的表；

通过检查点的文件记录数据日志读取的位置。

3.根据权利要求2所述的基于MPP与全文索引构建分布式OLAP数据分析的方法，其特征在于，所述数据写入的逻辑如下：

每次数据写入，生成一个唯一的批次号，通过检查点的文件记录该批次号的数据写入时间、写入状态以及是否成功这些信息；

写入搜索引擎和MPP数据库的表的数据均包含批次号这个字段；

若数据写入失败，则执行数据重新写入操作；在数据重新写入之前，先根据当前批次号删除搜索引擎和MPP数据库的表的脏数据，再执行数据重新写入操作；

数据重新写入成功后，将检查点文件中该批次号的写入状态更新为成功。

4.根据权利要求1所述的基于MPP与全文索引构建分布式OLAP数据分析的方法，其特征在于，在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；根据返回的主键列表，在MPP数据库使用主键列表进行数据查询，并对查询后的数据进行分析，包括：

将用户的查询语句根据配置库进行解析；

若存在全文查询字段，则在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；

根据返回的主键列表，将用户的查询语句转换为MPP数据库的查询语句，在MPP数据库执行数据的查询分析，将结果返回给用户。

5.基于MPP与全文索引构建分布式OLAP数据分析的装置，其特征在于，该装置包括：

数据入库模块，用于在搜索引擎建立索引，包含主键字段和至少一个全文查询字段；将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎；

数据查询模块，用于在搜索引擎使用全文查询字段进行检索，并返回命中记录的主键列表；根据返回的主键列表，在MPP数据库使用主键列表进行数据查询，并对查询后的数据进行分析。

6.根据权利要求5所述的基于MPP与全文索引构建分布式OLAP数据分析的装置，其特征在于，将全量数据写入MPP数据库的表，同时将主键字段的数据和全文查询字段的数据写入搜索引擎，包括：

通过配置库对MPP数据库的表的主键字段和全文查询字段进行配置；

从数据源读取数据，允许多个并发，并转换为数据日志的格式，采用MMAP技术以追加的方式先写入缓存中，再定期刷新到磁盘中；

读取数据日志并解析，生成两份数据，分别为包含主键字段和全文查询字段的数据以及包含完整字段的数据；

将包含主键字段和全文查询字段的数据写入搜索引擎，将包含完整字段的数据写入MPP数据库的表；

通过检查点的文件记录数据日志读取的位置。