[发明专利]一种基于数据仓库的数据处理方法及系统

权利要求书

1.一种基于数据仓库的数据处理方法，其特征在于，包括：

缓冲层获取结构化的不同来源的源数据；

所述缓冲层对所述源数据添加时间戳，生成缓冲数据；

所述缓冲层对所述缓冲数据进行缓存；

所述缓冲层将所述缓冲数据更新至贴源层；

所述贴源层对所述缓冲数据进行标准化处理，生成标准数据，并存储。

2.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，所述缓冲层对所述缓冲数据进行缓存，包括：

所述缓冲层将预设时间周期分成至少一个时间分区；

所述缓冲层根据所述时间分区，存储所述预设时间周期内的所述缓冲数据。

3.根据权利要求2所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述缓冲层根据所述时间分区，覆盖更新每个所述时间分区中的所述缓冲数据。

4.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述贴源层根据所述时间戳，重新抽取所述缓冲数据。

5.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述缓冲层实时获取所述源数据的增量数据；

所述缓冲层对所述增量数据添加时间戳，生成增量缓冲数据；

所述贴源层根据所述增量缓冲数据的时间戳，抽取所述增量缓冲数据；

所述贴源层对所述增量缓冲数据进行标准化处理，生成标准增量数据；

所述贴源层根据所述标准增量数据更新所述标准数据，并存储。

6.根据权利要求1所述的基于数据仓库的数据处理方法，其特征在于，还包括：

所述贴源层对所述标准数据进行历史归档处理。

7.一种基于数据仓库的数据处理系统，其特征在于，包括：缓冲层和贴源层；

所述缓冲层与所述贴源层连接；

所述缓冲层包括：第一处理模块和第一存储模块；

所述贴源层包括：第二处理模块和第二存储模块；

所述第一处理模块与所述第一存储模块连接；所述第二处理模块与所述第二存储模块连接；

所述缓冲层用于获取结构化的不同来源的源数据；

所述第一处理模块用于对所述源数据添加时间戳，生成缓冲数据；

所述第一存储模块用于对所述缓冲数据进行缓存；

所述缓冲层将所述缓冲数据更新至贴源层；

所述第二处理模块用于对所述缓冲数据进行标准化处理，生成标准数据；

所述第二存储模块用于存储所述标准数据。

8.根据权利要求7所述的基于数据仓库的数据处理系统，其特征在于，所述贴源层，还包括：第三存储模块；

所述第三存储模块与所述第二处理模块连接；

所述第三存储模块用于存储一定时间段内所述第二处理模块生成的所述标准数据，对所述标准数据进行历史归档。

9.根据权利要求7所述的基于数据仓库的数据处理系统，其特征在于，所述系统，还包括：原子层；

所述原子层与所述贴源层连接；

所述原子层用于定期同步所述贴源层中的所述标准数据，并对所述标准数据进行组织归类，并存储。

10.根据权利要求7所述的基于数据仓库的数据处理系统，其特征在于，所述系统，还包括：应用层；

所述应用层与所述贴源层连接；

所述应用层用于定期同步所述贴源层中的所述标准数据，并存储。