[发明专利]一种数据分发方法、系统及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤指一种数据分发方法、系统及装置。

背景技术

随着互联网技术的发展，网络上的数据量越来越大，在海量数据环境下，为了实现不重复的获取数据，根据数据中的地址信息下载文件，现有技术是采用多进程并发处理实现的，获取数据时，先锁数据库的审计(audit)表，处理前先将数据状态字段改变，然后对表进行解锁。取数据都是通过数据状态字段来获取数据，数据中的信息包含文件的实际地址，请求地址，然后进行下载。当用户在不断的分享文件，数据库不断的有新的数据进入，服务器需要在尽可能短的时间将文件下载，根据文件内容进行处理。

上述处理方式，存在以下问题：

在用户分享文件的高峰期，数据进入数据库较大的情况下，锁表会阻塞数据插入、更新或查询操作，其他进程执行插入、更新或查询数据的操作需要排队等待，当表解锁以后相关操作才能进行，多个进程在并行分发数据时，不可避免的要等待其他进程对表解锁才能获取到数据。因此导致数据分发的时延增大，分发速度降低。

但是由于数据具有实效性，需要尽可能快的将数据读取到并处理完，处理速度提速就需要并行更多的进程，然而，更多的并行进程会让数据表一直处于锁死状态，没有空隙进行其他表的操作，这就导致并发处理和减少处理时间之间存在不可调和的矛盾。

此外，由于可能出现的锁死状态，会导致进程的堵塞，浪费了大量的服务器资源占用率，下载服务更是加重了服务器负载，服务器响应缓慢，严重影响数据的处理速度。

发明内容

本发明实施例提供一种数据分发方法、系统及装置，用以解决现有技术中数据分发过程中存在的并发处理和快速处理的矛盾，从而能够减少处理时间，降低处理时延，提高处理速度和效率，从而节约处理资源，降低服务器资源占用率，减轻服务器负荷。

本发明实施例提供一种数据分发方法，包括：

分发服务器接收到用户的数据文件获取请求；

分发服务器根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发服务器获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

在一些可选的实施例中，所述确定所述数据文件的索引ID与数据分发进程的对应关系，具体包括：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

在一些可选的实施例中，所述总进程数由分发服务器通过获取脚本传入的进程号确定。

在一些可选的实施例中，所述将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取，具体包括：

所述分发服务器根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，确定数据文件对应的数据分发进程，得到数据文件需加载到的数据处理队列；

对数据文件添加脚本标记，将添加脚本标记后的数据文件加载到相应的数据处理队列中供下载服务器读取。

本发明实施例还提供一种数据分发装置，包括：

接收模块，用于接收到用户的数据文件获取请求；

确定模块，用于根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发模块，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。

在一些可选的实施例中，所述确定模块，具体用于：

将数据文件的索引ID对总进程数进行取余计算，根据计算结果，得到所述数据文件的索引ID与数据分发进程的对应关系。

在一些可选的实施例中，所述确定模块，具体用于：

获取脚本传入的进程号，确定总进程数。

在一些可选的实施例中，所述分发模块，具体用于：

接收模块，用于接收到用户的数据文件获取请求；

确定模块，用于根据数据分发进程的总进程数，确定数据文件的索引标识ID与数据分发进程的对应关系；

分发模块，用于获取数据库服务器中存储的用户分享的数据文件，根据数据分发进程的进程号、以及所述索引ID与数据分发进程的对应关系，将数据文件加载到与相应的数据分发进程对应的数据处理队列中供下载服务器读取。