[发明专利]一种对消息类业务数据进行多维分析的方法和系统

权利要求书

1.一种对消息类业务数据进行多维分析的方法，其特征在于，该方法包括如下步骤：

1)数据采集，数据采集模块负责将业务系统中分散在各个网元节点上的生产数据采集到统计分析服务器上的一个中间数据库中；

2)数据整合，数据转换与装载模块负责将中间数据库的数据转换处理到一个具有星型架构特征的关系型数据库中，并根据需要进一步处理到数据库中，整合包括：对消息类业务的各种待分析数据进行整理，将具有共同或相近特性的数据进行归类，并纳入到一个统一的维度层次结构中；对中间数据库的数据进行进一步的清洗、转换以处理到另一个多维数据库中；

3)数据分析与呈现，通过数据分析与呈现模块负责对数据仓库或关系型数据库中具有多维特征的业务数据进行分析和呈现。

2.如权利要求1所述的对消息类业务数据进行多维分析的方法，其特征在于在数据采集步骤中，首先定义针对不同数据源的数据抽取标准方法，完成异构数据源的原始数据采集工作，并保存到本地的一个中间数据库中，该中间数据库包含了业务系统所有经初步清洗的待分析数据；在原始数据采集过程中通过配置文件的方式定义待抽取库表的详细信息，包括表名、字段名、字段类型。

3.如权利要求1所述的对消息类业务数据进行多维分析的方法，其特征在于在数据整合步骤中，设计星型架构作为数据组织的基本方式，即以事实数据表为中心，多个维度表通过各自的键列联接到事实数据表上。

4.如权利要求3所述的对消息类业务数据进行多维分析的方法，其特征在于根据星型架构设计与之对应的数据仓库架构，将该多维数据库采用增量更新和按分区刷新相结合的方式装载到数据仓库的Cube(多维立方体)中。

5.如权利要求4所述的对消息类业务数据进行多维分析的方法，其特征在于星型架构所包含的事实表包含条数、字节流量和费用字段，且每个星型架构所包含的维度表都有且仅有一个键列联接到事实数据表。

6.如权利要求5所述的对消息类业务数据进行多维分析的方法，其特征在于，所述中间库中维度数据转换处理包括：

维度报数据同步更新：在DTS(数据转换服务)包里完成配置信息的初始化；建立到中间库的连接；读取中间库号码表的标志列确定本次待处理行；通过数据库基本操作指令实现维度数据的同步；将原始维度表异常数据写入异常维度信息表；更新关系型数据库维度表的属性字段信息；

中间库中事实表数据抽取与转换：

将中间库中分散在多表的原始事实数据进行规整处理，汇集到关系型数据库的一个临时表中，该临时表具备对应的星型架构事实表和维度表在最细粒度下的聚合信息；对该临时表所包含的所有维度信息进行处理，以使其与关系型数据库的维度表在最低的层次上发生关联，并经过中间转换；增量更新到关系型数据库的事实表中，通过处理将原始事实表中所有具体的维度取值转换为维度表中对应的键值；规整处理的方法主要包括库表之间的关联更新和聚合操作；中间库中零散的事实数据在多次转换后填充到星型架构的事实表中。

7.如权利要求6所述的对消息类业务数据进行多维分析的方法，其特征在于，所述维度数据的同步包括：

A新增维度数据处理：根据源表的最新id值将本次新增维度数据插入到关系型数据库维度表；

B维度信息更新处理：根据源表的id值确定本行是不是新增维度信息，根据源表的标志列确定本行的部分信息发生了更新，在对关系型数据库中的维度表进行更新操作中关联已确定发生了信息更新的记录以更新维度表数据；

C维度表属性字段信息通过一组存储过程来实现，以完成维度成员属性的计算。

8.一种对消息类业务数据进行多维分析的系统，其特征在于该系统包括独立设置的以下模块：

数据采集模块，负责将业务系统中分散在各个网元节点上的生产数据采集到统计分析服务器上的一个中间数据库中；

数据转换与装载模块，负责将中间数据库的数据转换处理到一个具有星型架构特征的关系型数据库中，并根据需要进一步处理到数据仓库中；

数据分析与呈现模块，负责对数据仓库或关系型数据库中具有多维特征的业务数据进行分析和呈现。

9.如权利要求8所述的对消息类业务数据进行多维分析的系统，其特征在于数据采集模块包括文件类生产数据处理子模块和数据库类生产数据处理子模块，文件类型的生产数据采用两个独立进程分别完成文件获取与入库工作；数据库类生产数据采用链接服务器、DTS和数据库复制三种方式同步数据；所述的数据转换处理包括三个主要模块：维度表处理模块、事实表处理模块和异常数据处理模块；维度表处理模块负责完成维度数据的收集和更新，以及对维度的属性数据进行预先计算处理；事实表处理模块负责完成事实数据的收集和更新，以及通过维护与维度表的主外键关系实现与维度表的关联；异常数据处理模块负责对系统异常数据进行额外处理；数据分析与呈现模块包括预定义统计报表、定制查询与报表以及多维分析子模块；预定义报表子模块是将查询主体中行列定义、字段具体含义均预先定义为报表定义文件，定制查询子模块是将与报表的行列字段定义在界面中预定义，报表子模块储存各种报表文件，多维分析子模块，其是展现所有Cube维度及度量值的要素，用户首先选定某些维度的取值，之后在界面上设置一个或多个维度作为分析列、一个或多个维度作为分析行、一个或多个度量值作为数据项，通过动态展开分析行及分析列可以获得在不同维度取值影响下的度量值数据，分析行及分析列维度在不同层次(level)上自动进行数据的聚合；定制报表的数据源既包括关系型数据库，也包括数据仓库，而多维分析模块的数据源只基于数据仓库的Cube。