[发明专利]一种数据传输方法、数据存储服务器及数据存储系统

说明书

本申请提供了一种数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储系统，通过在离线数据存储服务器和在线数据存储服务器之间建立数据下载通道，将需要导入的数据转换为数据库文件，以数据库文件形式将数据从离线数据存储服务器下载至在线数据存储服务器，能够有效降低数据导入时间，提高数据导入的效率，维护数据存储系统对外提供查询服务的稳定性。

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种数据传输方法，包括在线数据存储服务器和离线数据存储服务器的数据存储服务器，以及数据存储系统。

背景技术

随着科学技术的不断发展，网络数据量日益激增，呈指数级别的爆发增长，目前为了使大量的数据得以合理存储，普遍采用分布式存储系统Hadoop对大数据进行存储，Hadoop主要应用在离线数据存储场景下，而Hadoop中的离线数据的时效性差，无法满足线上业务低延时读取数据的要求，因此需要将离线数据先写到在线存储系统，然后由在线存储系统为线上业务提供低延时的查询。

将离线数据存储系统Hadoop中的离线数据写入到在线数据存储系统中，大多是通过在Hadoop构造虚拟数据存储引擎，以与在线数据存储系统中的数据集群建立连接，在读取离线数据条目后，通过构造用于写入数据的数据请求发送给在线数据存储系统，在线数据存储系统会在内部各节点依次读取数据请求和数据条目。如图1中所示，图1为在线数据存储系统的构造图，在线数据存储系统一般包括应用客户端、VIP节点、proxy节点和数据存储节点，以在线数据存储系统中数据存储节点为Redis节点为例，即在线数据存储系统中的数据集群为Redis集群，在离线数据从Hadoop写入在线数据存储系统的过程中，需要在Hadoop上构造Redis客户端，以与在线数据存储系统中的Redis集群建立连接；Redis客户端会构造一个数据写入的Redis请求，并将Redis请求发给在线数据存储系统，在线数据存储系统的应用客户端在接收到Redis请求后，Redis请求会被依次转发给VIP节点、Proxy节点和Redis节点，各节点根据Redis请求读取并写入离线数据条目。

由此可见，数据是通过一个一个读写请求发给Redis集群的，而每个请求都经历了好几层的转发，才最终到达存储节点，链路较长，同时有大量的写请求涌入在线数据存储系统中的数据存储节点，会导致数据存储节点的查询延时上升，影响服务稳定性。

发明内容

有鉴于此，本申请的目的在于提供一种数据传输方法、在线数据存储服务器、离线数据存储服务器及数据存储系统，能够通过将数据转换为数据库文件，直接传输数据库文件，从而有效降低数据导入时间，提高数据导入的效率和数据存储系统对外提供查询服务的稳定性。

根据本申请的一个方面，提供一种电子设备，可以包括存储介质和与存储介质通信的处理器。存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：

在所述在线数据存储服务器与离线数据存储服务器之间建立数据下载通道；

通过所述数据下载通道，从所述离线数据存储服务器获取与所述在线数据存储服务器发送的数据导入请求相匹配的数据库文件，所述数据库文件中包括多个数据块的数据内容，所述多个数据块为所述离线数据存储服务器根据所述在线数据存储服务器中各存储节点的拓扑结构信息，对与所述数据导入请求相匹配的数据进行划分得到的；

将所述数据库文件加载至预设存储位置。

在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：

在所述在线数据存储服务器中生成与所述数据库文件的文件格式相匹配的空白的数据存储空间；

将所述数据库文件加载至生成的数据存储空间中。

在一些实施例中，处理器执行所述机器可读指令时，可以执行一个或多个以下操作：