[发明专利]创建实时数据仓库的方法和装置

说明书

本发明公开了一种创建实时数据仓库的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据预设的数据库配置信息，确定待接入的数据；其中，所述数据库配置信息至少包括数据库名和表名；根据所述数据库名和表名，将所述待接入的数据实时发送至不同的消息队列中；将消息队列中的待接入的数据实时存储至数据仓库表，以实现实时数据仓库。该实施方式能够快速还原线上数据库的数据，实现实时数据仓库，从而提高了数据利用率，降低了线上数据查询的压力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种创建实时数据仓库的方法和装置。

背景技术

数据仓库(Data Warehouse)是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。随着业务的逐步扩张，用户对实时数据的需求越来越高，更多的人希望可以查到实时的数据。但是，当前的数据仓库，大多存储的是按天加工的离线数据，即当天的数据只能明天才能看到，无法提供实时的数据。若需要实时的查询数据，只能通过直接查询线上数据库来实现。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

当查询的数据量较大时，线上查询的压力会很大。

发明内容

有鉴于此，本发明实施例提供一种创建实时数据仓库的方法和装置，能够快速还原线上数据库的数据，实现实时数据仓库，从而提高了数据利用率，并且降低了线上数据查询的压力。

为实现上述目的，根据本发明实施例的一个方面，提供了一种创建实时数据仓库的方法，包括：根据预设的数据库配置信息，确定待接入的数据；其中，所述数据库配置信息至少包括数据库名和表名；根据所述数据库名和数据表名，将所述待接入的数据实时发送至不同的消息队列中；将消息队列中的待接入的数据实时存储至数据仓库表，以实现实时数据仓库。

可选地，根据预设的数据库配置信息，确定待接入的数据包括：根据预设的数据库配置信息，读取线上数据库中的日志，将所述日志作为待接入的数据。

可选地，所述日志的模式为行模式。

可选地，所述数据库配置信息还包括表结构信息；在将消息队列中的待接入的数据实时存储至数据库表之前，所述方法还包括：根据所述表结构信息，确定线上数据库的表结构；创建与所述表结构相同的数据仓库表。

为实现上述目的，根据本发明实施例的另一方面，提供了一种创建实时数据仓库的装置，包括：待接入数据确定模块，用于根据预设的数据库配置信息，确定待接入的数据；其中，所述数据库配置信息至少包括数据库名和表名；实时消息订阅模块，用于根据所述数据库名和数据表名，将所述待接入的数据实时发送至不同的消息队列中；实时存储模块，用于将消息队列中的待接入的数据实时存储至数据仓库表，以实现实时数据仓库。

可选地，所述待接入数据确定模块还用于：根据预设的数据库配置信息，读取线上数据库中的日志，将所述日志作为待接入的数据。

可选地，所述日志的模式为行模式。

可选地，所述数据库配置信息还包括表结构信息；所述实时存储模块还用于：根据所述表结构信息，确定线上数据库的表结构；创建与所述表结构相同的数据仓库表。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的创建实时数据仓库的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的创建实时数据仓库的方法。