[发明专利]并行数据加载方法和系统

说明书

本发明实施例提供一种并行数据加载方法和系统，通过将待加载的数据存储在FTP服务器中，数据节点从FTP服务器中下载加载文件信息对应的数据块，以FTP服务器文件的形式下载，提高了下载文件的效率，提高了并行数据加载的效率。通过主节点向多个数据节点发送加载指示信息，以使多个数据节点并行加载FTP服务器中存储的数据，通过数据节点主动向服务器请求分配任务的方式，可以使处理能力强的数据节点加载更多的数据块，实现加载任务的按需分配，进一步提高并行数据加载的效率。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种并行数据加载方法和系统。

背景技术

随着计算机技术的飞速发展，数据库的应用也越来越广泛，数据的加载效率直接影响数据库的总体性能。

现有技术中，数据加载时，应用通过Jave数据库连接(Java DataBaseConnectivity，简称：JDBC)或者开放式数据库连接性(Open DataBase Connectivity，简称：ODBC)驱动和数据库连接，使用标准的SQL语句进行数据加载，例如：SQL SERVER，ORACLE和PostgerSQL等场景中均采用该种方式加载数据。

然而，现有技术的数据加载效率不高。

发明内容

本发明实施例提供一种数据加载方法和系统，以提高并行数据加载的效率。

本发明实施例一个方面提供一种并行数据加载方法，该方法应用于并行数据加载系统，该系统包括：M个主节点、N个数据节点和R个文件传输协议FTP服务器，其中，M为大于等于1的整数，N为大于等于2的整数，R为大于等于1的整数，M个主节点与N个数据节点以及R个FTP服务器通信连接，N个数据节点和R个FTP服务器通信连接。

该方法包括：主节点向至少两个数据节点发送加载指示信息，加载指示信息用于指示至少两个数据节点加载FTP服务器中存储的数据；每个数据节点向主节点发送的任务分配请求信息，主节点向每个数据节点发送数据节点对应的加载文件信息，数据节点根据加载文件信息从FTP服务器下载加载文件信息对应的数据块进行加载，通过主节点向多个数据节点发送加载指示信息，以使多个数据节点并行加载FTP服务器中存储的数据，通过数据节点主动向服务器请求分配任务的方式，可以使处理能力强的数据节点加载更多的数据块，实现加载任务的按需分配，进一步提高并行数据加载的效率。

可选地，主节点向每个数据节点发送数据节点对应的加载文件信息之前，还包括：

主节点根据至少两个数据节点发送任务分配请求信息的频率，确定为每个数据节点分配的加载文件的大小。实现根据数据节点的实际处理能力进行分配，进一步提高处理资源的利用率，提高并行加载的效率

可选地，还包括：

若主节点确定待加载文件已经全部加载完毕，向至少两个数据节点发送加载完成指示信息。以使至少两个数据节点停止向主节点发送任务分配请求信息。

可选地，主节点向至少两个数据节点发送加载指示信息之前，还包括：

主节点接收客户端发送的加载指示信息，加载指示信息中包含待加载文件的信息。

可选地，还包括：

若主节点确定待加载文件已经全部加载完毕，向客户端发送加载完成指示信息。以使至少两个数据节点停止向主节点发送任务分配请求信息。

可选地，主节点根据至少两个数据节点发送任务分配请求信息的频率，确定为每个数据节点分配的加载文件的大小之前，还包括：

主节点将待加载文件分割为多个数据块，每个数据块对应一个加载文件信息。

本发明实施例另一方面提供一种并行数据加载系统、包括：