[发明专利]基于消息队列的数据处理方法、装置、系统及存储介质

说明书

本发明提供了一种基于消息队列的数据处理方法、装置、系统及存储介质，所述方法包括：获取至少一个源数据库的源数据；将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列；基于所述目标消息队列得到相应的源数据，将所述相应的源数据存储至对应的目标数据库。根据本发明的方法、装置、系统及存储介质，使得数据源库与数据仓库之间通信解耦，实现高效率的数据汇聚，将不同来源的数据集成起来，统一数据的通信规范，让数据发挥更大的效益。

技术领域

本发明涉及数据处理领域，更具体地涉及异构数据的处理。

背景技术

随着计算机、PC移动端、智能手机的大量普及，信息时代产生的信息量快速增长，已呈现井喷模式，互联网下、网上、人的衣食住行零散的存在于各大网站、博客、社区上，数据的采集、存储、处理的数量也呈倍数增长。同时，由于政府、公检法等部门大型信息系统建设具有阶段性和分布性特点，使得大量信息成为孤岛，如何有效且快速的汇聚这些信息成为难题；市面上常见的penthao kettle、talend open studio、clover等数据汇聚工具；kettle基于Java开发，界面化工具可轻易上手，但主从结构非高可用，且不支持实时数据同步；talend具有图形界面是以eclipse的插件方式提供，支持分布式，也支持实时处理，但需要购买高级版本且价格贵，还要会使用java开发；clover是在kettle和talend之后的工具，用户较少，主要优点在于轻量级、容易嵌入、易于使用，但是功能远没有kettle和talend强大。信息科技的发展使得数据的在逐渐膨胀，数据量将以TB级甚至PB级别的速度增加，即使再强大的ETL工具依然满足不了目前的需求，且需要投入大量的实施人员，工具的使用方式、技巧不熟导致无法快速上手也将成为效率的瓶颈。

因此，现有技术中的数据汇聚处理存在无法满足数据量的增长需求，人工投入大，效率低的问题。

所以，如何快速、且高效的汇聚将面临挑战。

发明内容

考虑到上述问题而提出了本发明。本发明提供了基于消息队列的数据处理方法、装置、系统及存储介质，通过将消息队列技术作为数据汇聚的通道，使得数据源库与数据仓库之间通信解耦，实现高效率的数据汇聚，将不同来源的数据集成起来，统一数据的通信规范，让数据发挥更大的效益。

根据本发明实施例的第一方面，提供了一种基于消息队列的数据处理方法，所述方法包括：

获取至少一个源数据库的源数据；

将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列；

基于所述目标消息队列得到相应的源数据，将所述相应的源数据存储至对应的目标数据库。

可选地，所述获取至少一个源数据库的源数据，包括：

采用ORM框架或DBHelper类与所述至少一个源数据库进行适配；

根据预设的数据读取方式读取所述源数据。

可选地，采用DBHelper类与所述至少一个源数据库进行适配包括：

基于第一接口和/或第二接口适配所述至少一个源数据库，所述第一接口用于规范所述DBHelper类，所述第二接口用于扩展需要获取所述源数据库信息的所述DBHelper类。

可选地，将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列，包括：

基于预定的消息格式将所述源数据存储到所述消息传输队列；

当检测到触发事件时，将所述传输消息队列通过所述信息通道发送至所述目标消息队列。