[发明专利]一种数据导入方法及装置

说明书

本发明提供一种数据导入方法及装置，上述方法包括以下步骤：扩展数据转移工具，使所述数据转移工具具备导入数据至分布式消息系统的功能；分析从关系型数据库导入数据至所述分布式消息系统所需的参数，并将所述参数通知所述数据转移工具；通过所述数据转移工具将所述关系型数据库中与所述参数对应的数据导入至所述分布式消息系统，实现了数据从关系型数据库到Kafka数据库的高效便捷导入。

技术领域

本发明属于计算机领域，尤其涉及一种数据导入方法及装置。

背景技术

在社会快速发展的今天，各行各业每天都会产生大量的数据，数据来源囊括了我们周围可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。在这种环境下，Apache框架Hadoop应运而生，它是一个越来越通用的分布式计算环境，主要用来处理大数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具，可以在Hadoop和关系型数据库之间转移大量数据。在实际应用中，有时需要将数据从关系型数据库导入到Kafka，然而Sqoop作为一个数据转移工具，没有提供这方面的支持。考虑到实际应用的需要，我们根据Sqoop的工作原理，设计将数据库的数据作为消息发送到kafka的MapReduce程序，实现了数据从关系型数据库到Kafka的高效便捷的导入。

因此，迫切需要提供一种数据导入方案，来解决将数据从关系型数据库导入到Kafka的问题。

发明内容

本发明提供一种数据导入方法及装置，以解决上述问题。

本发明提供一种数据导入方法。上述方法包括以下步骤：

扩展数据转移工具，使所述数据转移工具具备导入数据至分布式消息系统的功能；

分析从关系型数据库导入数据至所述分布式消息系统所需的参数，并将所述参数通知所述数据转移工具；

通过所述数据转移工具将所述关系型数据库中与所述参数对应的数据导入至所述分布式消息系统。

本发明还提供一种数据导入装置，包括：扩展模块、分析模块、数据导入模块，其中，所述扩展模块与所述分析模块连接，所述分析模块与所述数据导入模块连接，

扩展模块，用于扩展数据转移工具，使所述数据转移工具具备导入数据至分布式消息系统的功能；

分析模块，用于分析从关系型数据库导入数据至所述分布式消息系统所需的参数，并将所述参数通知所述数据转移工具；

数据导入模块，用于通过所述数据转移工具将所述关系型数据库中与所述参数对应的数据导入至所述分布式消息系统。

通过以下方案：扩展数据转移工具，使所述数据转移工具具备导入数据至分布式消息系统的功能，分析从关系型数据库导入数据至所述分布式消息系统所需的参数，并将所述参数通知所述数据转移工具，通过所述数据转移工具将所述关系型数据库中的对应数据导入至所述分布式消息系统，实现了将数据从关系型数据库高效导入到分布式消息系统的功能。

通过以下方案：数据转移工具可以是Apache Sqoop，一方面避免了重新开发导入所需所有模块的重复劳动，另一反面进一步完善了Sqoop作为一个数据转移工具的功能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的数据导入方法处理流程图；

图2所示为本发明实施例2的数据导入原理示意图；

图3所示为本发明实施例3的数据导入装置结构图。