[发明专利]一种基于多客户端轮循排队的数据上传方法及系统

说明书

本申请公开了一种基于多客户端轮循排队的数据上传方法及系统，该方法包括：按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；按照评分由高到低的顺序，对所有客户端进行排序，从排序好的所有客户端中选取出前N个客户端；对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行上传至云服务器。本申请在对大数据进行上传处理的过程中，避免了消耗过多的系统性能，并提升了数据的上传效率。

技术领域

本发明涉及数据上传技术领域，特别涉及一种基于多客户端轮循排队的数据上传方法及系统。

背景技术

在以往的ERP产品(ERP，即Enterprise Resource Planning，企业资源计划)中，云概念、大数据等尚未普及，较少有用户数据需要进行上传处理，即便有也仅仅是对小量数据进行上传，一般由当台客户端或者能够联网的中间层统一发送数据便可。

然而，随着大数据时代的到来，以往对小量数据进行上传的技术手段已经无法满足现实对大数据进行上传处理的需求，这种小量数据上传的技术手段会对多客户端系统造成诸多不便，例如大量消耗系统的整体性能、降低系统整体的数据传输效率等。

综上所述可以看出，如何在对大数据进行上传处理的过程中，提高数据的上传效率以及避免消耗过多的系统性能是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于多客户端轮循排队的数据上传方法及系统，提高了数据的上传效率，并避免了消耗过多的系统性能。其具体方案如下：

一种基于多客户端轮循排队的数据上传方法，包括：

按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；

按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数；

对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端，以利用所述前N个客户端，将所有小数据块并行地上传至云服务器。

优选的，所述预设终端评分规则为根据当前所有客户端的性能状况、当前所有客户端的负载压力状况以及所有客户端的历史数据传输效果，预先建立的评分规则。

优选的，客户端的性能状况包括网速状况、硬件性能参数以及数据上传行为对自身性能的影响程度。

优选的，客户端的历史数据传输效果包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。

优选的，所述数据上传方法，还包括：

当所述前N个客户端中的任一客户端完成当前数据上传周期内的数据上传任务后，记录相应的数据上传日志文件，并根据该数据上传日志文件分析出相应的数据传输效果。

优选的，所述将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端的过程，包括：

根据所述前N个客户端的评分情况，对分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，所述N组小数据块与所述前N个客户端一一对应，并且在所述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端。