[发明专利]一种数据传输方法及系统

说明书

本发明提供的一种数据传输方法及系统，该方法包括：获取原存储位置的待传输数据，待传输数据由多个KB级的存储对象构成；根据待传输数据中各存储对象的最后修改时间将待传输数据进行排序，生成待传输列表；按照待传输列表，将待传输数据分解为预设数量的待传输对象；将多个待传输对象并行传输至目标存储位置。通过依据各存储对象的最后修改时间将待传输数据进行排序，生成待传输列表。并在待传输列表生成后，将传输数据分解成多个待传输对象进行传输，优化了数据传输方式，提高了数据传输效率。

技术领域

本发明涉及大数据存储和蓝光存储领域，具体涉及一种数据传输方法及系统。

背景技术

在现有的Amazon S3分布式系统中，针对存储对象在大吞吐量的数据传输或存储类型转换提出了专门的性能优化策略，以提高数据传输效率。但是现有的性能优化策略只能实现存储对象大小在MB级、GB级，甚至TB级的数据处理，而当存储空间中存储有大量的、内容较少的、KB级别的对象，当用户需要将这些对象进行数据传输时，现有的Amazon S3分布式系统会出现并发数据传输拥堵，影响数据传输效率。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中在对象进行数据传输时，数据传输速度较慢的缺陷，从而提供一种数据传输方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种数据传输方法，包括：获取原存储位置的待传输数据，所述待传输数据由多个KB级的存储对象构成；根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表；按照所述待传输列表，将待传输数据分解为预设数量的待传输对象；将多个所述待传输对象并行传输至目标存储位置。

在一实施例中，所述获取原存储位置的待传输数据，包括：获取原存储位置的热数据文件；基于热数据文件占用的存储空间，对所述热数据文件进行排序，筛选出满足KB级别范围内的热数据文件；将筛选出的热数据文件合并生成待传输数据。

在一实施例中，所述基于热数据文件占用的存储空间，对所述热数据文件进行排序，包括：获取各热数据文件的文件参数；根据所述文件参数分别计算各热数据文件占用的存储空间；根据所述存储空间对所述热数据文件进行排序。

在一实施例中，所述预设数量为16。

在一实施例中，当所述原存储位置为磁盘时，所述目标存储位置为蓝光存储器；当所述原存储位置为蓝光存储器时，所述目标存储位置为磁盘。

在一实施例中，在所述根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表之前，所述数据传输方法，还包括：判断所述原存储位置是否为蓝光存储器；当所述原存储位置为蓝光存储器时，将所述待传输数据并行传输至目标存储位置。

第二方面，本发明实施例提供一种数据传输系统，包括：获取模块，用于获取原存储位置的待传输数据，所述待传输数据由多个KB级的存储对象构成；排序模块，用于根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表；分解模块，用于按照所述待传输列表，将待传输数据分解为预设数量的待传输对象；传输模块，用于将多个所述待传输对象并行传输至目标存储位置。

在一实施例中，所述预设数量为16。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的数据传输方法。

第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例第一方面所述的数据传输方法。

本发明技术方案，具有如下优点：