[发明专利]数据存储方法和装置

说明书

本发明实施例公开了一种数据存储方法和装置，用于提高数据写入数据库的效率。本发明实施例方法包括：从文件系统的目录中实时获取目标数据；将所述目标数据保存在分布式数据库的数据目录中；将所述目标数据从所述数据目录加载到所述分布式数据库的预先建立的外部表中。这样，分布式数据库从文件系统的目录中获取目标数据，再通过分布式数据库上的数据目录对目标数据进行传递，将该目标数据保存在分布式数据库的外部表中，实现了以较高的效率将数据写入分布式数据库，且数据的准确写入得到了保证。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据存储方法和装置。

背景技术

数据的快速计算与查询作为实时计算研究的热点，如何快速地将数据写入到数据库，在现今，受到了各方用户的关注，尤其是在大数据时代，用户对快速向数据库写入数据的需求越来越大。

对此，现有的解决方法是，计算设备处理数据后，直接向数据库写入处理完成的数据。例如，通过JDBC方式连接到GreenPlum集群，获取链接后将数据写入到GreenPlum集群。

这样的方式，会导致数据写入效率低，不能满足大数据量实时存储的需求。

发明内容

本发明实施例提供了一种数据存储方法和装置，用于提高数据写入数据库的效率。

为了解决上述技术问题，本发明实施例提供了以下技术方案：

一种数据存储方法，所述方法包括：

从文件系统的目录中实时获取目标数据；

将所述目标数据保存在分布式数据库的数据目录中；

将所述目标数据从所述数据目录加载到所述分布式数据库的预先建立的外部表中。

为了解决上述技术问题，本发明实施例还提供了以下技术方案：

一种数据存储装置，所述装置包括：

获取单元，用于从文件系统的目录中实时获取目标数据；

保存单元，用于将所述目标数据保存在分布式数据库的数据目录中；

第一加载单元，用于将所述目标数据从所述数据目录加载到所述分布式数据库的预先建立的外部表中。

从以上技术方案可以看出，本发明实施例具有以下优点：

从文件系统的目录中实时获取目标数据后，将所述目标数据保存在分布式数据库的数据目录中，再将所述目标数据从所述数据目录加载到所述分布式数据库的预先建立的外部表中。这样，分布式数据库从文件系统的目录中获取目标数据，再通过分布式数据库上的数据目录对目标数据进行传递，将该目标数据保存在分布式数据库的外部表中，实现了以较高的效率将数据写入分布式数据库，且数据的准确写入得到了保证。

附图说明

图1为本发明一实施例提供的一种数据存储方法的方法流程图；

图2为本发明另一实施例提供的一种数据存储方法的方法流程图；

图3为图2所示的实施例的方法所涉及的具体使用场景图；

图4为本发明另一实施例提供的一种数据存储装置的结构示意图。

具体实施方式

本发明实施例提供了一种数据存储方法和装置，用于提高数据写入数据库的效率。

图1为本发明实施例提供的一种数据存储方法的方法流程图，参阅图1本发明实施例的方法包括：

步骤101：从文件系统的目录中实时获取目标数据；

步骤102：将目标数据保存在分布式数据库的数据目录中；