[发明专利]服务器中的数据合并方法及系统

权利要求书

1.一种服务器中的数据合并方法，其特征在于，包括以下步骤：

接收数据文件；

把所述数据文件放置于对应的内部队列中；

取得所述内部队列中的所述数据文件，并根据所述数据文件的文件大小决定切分数量；

根据所述切分数量对所述数据文件进行切分，并得到多个不同大小的切分片段；

对应于不同大小的切分片段，分别调用预先创建的写入线程，把所述切分片段依序附加写入服务器的分散式文件装置中的与该数据文件对应的目标文件。

2.如权利要求1所述的服务器中的数据合并方法，其特征在于，所述方法还包括：

若服务器的分散式文件装置中不存在所述目标文件，则创建与该数据文件对应的所述目标文件。

3.如权利要求1所述的服务器中的数据合并方法，其特征在于，所述取得所述内部队列中的所述数据文件，并根据所述数据文件的文件大小决定切分数量，具体包括：

取得所述内部队列中的所述数据文件；

读取所述数据文件的文件大小；

对应于不同的文件大小和预先创建的写入线程的写入数据长度限制决定切分数量。

4.如权利要求1所述的服务器中的数据合并方法，其特征在于，所述方法还包括：

在所述调用预先创建的写入线程之前，判断与该数据文件对应的目标文件是否存在；

当所述与该数据文件对应的目标文件不存在时，创建与该数据文件对应的目标文件。

5.如权利要求1至4任一项所述的服务器中的数据合并方法，其特征在于，所述根据所述切分数量对所述数据文件进行切分，并得到多个不同大小的切分片段，具体为：

根据所述切分数量确定切分点，对所述数据文件进行预切分；

当所述数据文件的切分位置落于所述内部队列的尾端，且所述数据文件的切分点位于所述尾端之前，则修改所述数据文件的切分位置至所述切分点上。

6.一种服务器中的数据合并系统，其特征在于，包括：

本地目录，接收客户端所发送的数据文件；

扫描模组，连接于所述本地目录，所述扫描模组监视所述本地目录的数据文件是否异动；

控制模组，耦接于所述扫描模组，所述控制模组包括至少内部队列，所述内部队列储存对应的所述数据文件的路径资讯，所述本地目录的任一所述数据文件异动时，所述扫描模组根据异动的数据文件的种类令所述控制模组创建新的所述内部队列或更新已知的所述数据文件的内容；

上传模组，连接于所述本地目录，所述本地目录的任一所述数据文件异动时，所述上传模组侦测异动的所述数据文件的一文件种类，并根据所述文件种类将所述数据文件指派至对应的所述内部队列；

至少一队列监视模组，连接于所述控制模组，所述队列监视模组根据所述内部队列的数量产生对应数量的队列监视模组，所述队列监视模组根据所述内部队列的所述数据文件的大小决定所述数据文件的切分数量，并根据所述切分数量对所述数据文件进行切分以产生对应的切分片段；以及

多个工作线程，连接于所述队列监视模组，所述工作线程读取相应的所述切分片段；

其中，所述队列监视模根据所述目标文件的文件头指派工作线程所对应的所述目标文件的写入位置，工作线程根据所属的所述写入位置并以附加处理的方式，把每一所述工作线程所对应的所述切分片段写入所述目标文件。

7.如权利要求7所述的服务器中的数据合并系统，其特征在于，所述队列监视模组对所监控的所述内部队列的数据文件根据先进先出的方式从所述内部队列中取出所述数据文件。

8.如权利要求6所述的服务器中的数据合并系统，其特征在于，当所述队列监视模组于切分时确认所述数据文件的切分位置落于所述内部队列的一尾端，且所述数据文件的一切分点位于所述尾端之前，则所述队列监视模组修改所述数据文件的切分位置至所述切分点上。

9.如权利要求6所述的服务器中的数据合并系统，其特征在于，进一步工作线程以并行的方式把切分片段写入所述目标文件中。

10.如权利要求6所述的服务器中的数据合并系统，其特征在于，进一步包括一分散式文件装置，连接于工作线程，工作线程将切分片段依序的写入所述分散式文件装置中。