[发明专利]基于Infobright的数据仓库和系统及其构建方法

摘要

一种基于Infobright的数据仓库，包括源数据仓，其存放从关系型数据库中抽取过来的原始数据；加工仓，其具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。本发明还提供一种基于Infobright的数据仓库系统，其包括所述的基于Infobright的数据仓库；关系型数据库，其用于产生业务有关的原始数据；数据导入单元，其将所述原始数据导入到所述数据仓库中。本发明还提出了基于Infobright的数据仓库和系统的构件方法。本发明的数据仓库具有高性能且可扩展的优点。

主权项

一种基于Infobright的数据仓库的构建方法，其特征在于，包括：构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据，源数据仓具有Infobright的brighthouse引擎，将所述原始数据从关系型数据库抽取到云存储，从云存储中下载所述原始数据到数据仓库中，原始数据均以增量的方式被加载到源数据仓中；构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储，数据加工过程均在加工仓主库中完成，加工仓主库对所述原始数据的加工处理包括排重、合并、拆分，加工仓从库为读库；构建结果仓，所述结果仓具有MyISAM引擎，采用一主多从的集群架构，包括一个结果仓主库和多个结果仓从库，所述结果仓对加工仓加工完的数据进行汇总，作为汇总类报表的数据源；所述源数据仓被构建为，针对所述原始数据中的表，根据表中的主键字段和更新时间字段，从表中过滤出主键重复的记录中更新时间最新的一条记录，查询出所有主键不重复的记录集合，并通过load dataoutfile方式导出到文本文件中，该文本文件保存在源数据仓中。