[发明专利]服务器中的数据合并方法及系统

说明书

技术领域

本申请涉及数据传输的方法及系统，具体涉及一种服务器中的数据合并方法及系统。 

背景技术

随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如：宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响服务器的负荷量。因此在已知的多媒体服务器也会具备带宽管理(Bandwidth Manager)的功能。服务器可以透过带宽分布或缓存等方式减轻同时间的资料传输量。 

此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入服务器中。服务器会暂存这些数据文件。之后，服务器在将这些数据文件分批的写入实体磁盘。 

这种写入的方式的实现成本低廉且快速。但是过去的写入方式是将上传的数据文件切分为多个切分片段。在服务器内部将这些切分片段重新组合。过去的写入技术是将每一切分片段写完后，工作线程会将字节流(I/O Stream)关闭。当下一个切分片段要接续写在数据文件后，另一个工作线程才会开启字节流。这样的处理方式虽然可以实现一次性数据写入。但多个工作线程的开关会造成写入的延迟。而且写入的过程中发生错误，会使得当前已经记录完成的数据文件随之毁损。 

因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此外，同一份数据文件除了要从客户端中重新载入，而且也要在服务器内部重新传输。 

发明内容

本申请所要解决的技术问题在于提供一种服务器中的数据合并方法，提高服务器中的切分数据的合并处理速度。 

为了解决上述问题，本申请另揭示了一种数据切分的传输方法，包括以下步骤：接收数据文件；把所述数据文件放置于对应的内部队列中；取得所述内部队列中的所述数据文件并根据所述数据文件的文件大小决定切分数量；根据所述切分数量对所述数据文件进行切分，并得到多个不同大小的切分片段；对应于不同大小的切分片段，分别调用预先创建的写入线程，把所述切分片段依序附加写入服务器的分散式文件装置中的与该数据文件对应的目标文件。若服务器的分散式文件装置中不存在所述目标文件，则创建与该数据文件对应的所述目标文件。 

进一步地，所述取得所述内部队列中的所述数据文件，并根据所述数据文件的文件大小决定切分数量，具体包括：取得所述内部队列中的所述数据文件；读取所述数据文件的文件大小；对应于不同的文件大小和预先创建的写入线程的写入数据长度限制决定切分数量。 

进一步地，所述方法还包括：在所述调用预先创建的写入线程之前，判断与该数据文件对应的目标文件是否存在；当所述与该数据文件对应的目标文件不存在时，创建与该数据文件对应的目标文件。 

所述根据所述切分数量对所述数据文件进行切分，并得到多个不同大小的切分片段，具体为：根据所述切分数量确定切分点，对所述数据文件进行预切分；当所述数据文件的切分位置落于所述内部队列的尾端，且所述数据文件的切分点位于所述尾端之前，则修改所述数据文件的切分位置至所述切分点上。 

进一步地包括：若所述切分位置与尾端的长度小于长度阀值，减缩所述切分片段的长度。 

进一步地包括：若所述切分位置与尾端的长度大于所述长度阀值，延伸所述切分片段的长度。 

为了解决上述问题，本申请揭示了一种服务器中的数据合并系统包括： 

本地目录，接收客户端所发送的数据文件； 

扫描模组，连接于所述本地目录，所述扫描模组监视所述本地目录的数据文件是否异动； 

控制模组，耦接于所述扫描模组，所述控制模组包括至少内部队列，所述内部队列储存对应的所述数据文件的路径资讯，所述本地目录的任一所述数据文件异动时，所述扫描模组根据异动的数据文件的种类令所述控制模组创建新的所述内部队列或更新已知的所述数据文件的内容； 

上传模组，连接于所述本地目录，所述本地目录的任一所述数据文件异动时，所述上传模组侦测异动的所述数据文件的一文件种类，并根据所述文件种类将所述数据文件指派至对应的所述内部队列； 

至少一队列监视模组，连接于所述控制模组，所述队列监视模组根据所述内部队列的数量产生对应数量的队列监视模组，所述队列监视模组根据所述内部队列的所述数据文件的大小决定所述数据文件的切分数量，并根据所述切分数量对所述数据文件进行切分以产生对应的切分片段；以及 

多个工作线程，连接于所述队列监视模组，所述工作线程读取相应的所述切分片段；