[发明专利]基于通信负载的数据传输方法、装置及系统

说明书

本申请提供一种基于通信负载的数据传输方法、装置及系统，涉及大数据技术领域。中心处理设备与多个通信设备连接，方法应用于任一通信设备，包括：确定出待传输数据的类别数；预估每个类别的待传输数据的数据量；根据通信设备在当前状态下的最大并发线程数确定出用于传输数据的计划并发线程数；根据待传输数据的类别数、每个类别的待传输数据的数据量和计划并发线程数对通信设备的通信资源进行分组，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使中心处理设备根据识别标识将接收的数据分类存储。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种基于通信负载的数据传输方法、装置及系统。

背景技术

随着科技的迅速发展，大数据时代悄然来临。大数据时代下，每天会产生海量数据，而对这些数据的传输，以及对大数据的分析处理(例如分类、序列特征提取、数据可视化等)，对中心处理设备(例如中心服务器)的性能提出了极大的挑战，处理设备宕机的风险显著提升。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于通信负载的数据传输方法、装置及系统，以缓解中心处理设备的压力。

第一方面，本申请实施例提供一种基于通信负载的数据传输方法，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述方法包括：

确定出待传输数据的类别数；

预估每个类别的待传输数据的数据量；

根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；

根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；

生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

有益效果：通过在通信设备端对待传输数据进行分类后再进行传输，能够减少中心处理设备(例如中心服务器)任务量，从而可以减轻中心处理设备的压力。而结合通信设备的并发线程数、待传输数据的类别数和每个类别对应的数据量，对通信设备的通信资源进行灵活分配，可以有效提高数据的传输效率。

结合第一方面，在第一方面的第一种可能的实现方式中，所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，包括：

根据所述待传输数据的类别，生成与所述中心处理设备约定的识别标识；

根据所述识别标识，生成与该类别对应的通信资源组使用的连接验证信息，其中，所述连接验证信息中包含所述识别标识，所述连接验证信息用于在所述通信设备与所述中心处理设备建立通信连接时进行验证，以使所述中心处理设备在对包含所述识别标识的所述连接验证信息进行验证时，确定出将要接收的数据的类别；

根据所述连接验证信息，向所述中心处理设备传输该类别的待传输数据。

有益效果：采用在通信设备与中心处理设备建立连接时的验证信息上加识别标识，可以实现在接收数据前识别待传输数据的类别，以缓解中心处理设备在决定接收数据后或者接受数据后才能实现对数据的分类而引起的资源占用问题，可以进一步减小中心处理设备在接收数据时需要同时处理的工作量，进一步提升数据传输的效率。

结合第一方面，在第一方面的第二种可能的实现方式中，在所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据之前，所述方法还包括：