[发明专利]通信方法及装置

说明书

本申请提供通信方法及装置，涉及通信技术领域，该方法包括：网络设备接收至少两个报文，对至少两个报文进行聚合，得到聚合后的报文。其中，至少两个报文分别所属的消息具有同一消息索引，消息索引用于索引至少两个报文分别所属的消息。在本申请提供的通信方法中，利用网络设备实现聚合处理，以降低通信时延和通信网络中的数据冗余度。

技术领域

本申请涉及通信技术领域，尤其涉及一种通信方法及装置。

背景技术

目前，通常采用分布式深度神经网络(deep neural network，DNN)训练方法来训练DNN模型。在分布式DNN训练方法中，大多由服务器实现聚合处理，以得到训练后的DNN模型参数。在一种分布式DNN训练方法中，p个计算节点分别通过通信网络与同一个参数服务器交互DNN模型参数。其中，p为大于1的正整数。在p个计算节点分别与同一个参数服务器进行的一次DNN模型参数的交互过程中，对于一个计算节点而言，所需传输的数据量是DNN模型参数的数据量的2倍；对于参数服务器而言，所需传输的数据量是DNN模型参数的数据量的2p倍，数据量庞大。如此，参数服务器存在通信瓶颈问题。在另一种分布式DNN训练方法中，p个计算节点之间通过通信网络交互DNN模型参数。若p个计算节点完成一次环全规约(ring-all-reduce)处理，则对于p个计算节点中每个计算节点而言，所需传输的数据量是DNN模型参数的数据量的2(p-1)/p倍。在计算节点的数量庞大时，若p个计算节点完成一次环全规约处理，则对于p个计算节点中每个计算节点而言，所需传输的数据量接近DNN模型参数的数据量的2倍。也就是说，计算节点所需传输的数据量始终大于DNN模型参数的数据量。相对于DNN模型参数的数据量而言，通信网络中始终传输了额外的数据量，容易受到通信网络的网络带宽限制，通信时延大。

发明内容

本申请实施例提供一种通信方法及装置，能够降低通信时延和通信网络中的数据冗余度。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供一种通信方法，该方法包括：接收至少两个报文，再对至少两个报文进行聚合，得到聚合后的报文。其中，至少两个报文分别所属的消息具有同一消息索引，消息索引用于索引至少两个报文分别所属的消息。

也就是说，在终端设备通过网络设备向另一个终端设备发送报文的过程中，网络设备对接收的报文进行聚合处理，从而避免通信网络的网络带宽限制，降低通信时延和通信网络中的数据冗余度。由于相同的消息索引所标识的报文中的参数数据是同一DNN模型中相同位置的参数数据，也就使得网络设备能够准确地识别待聚合报文，以及保证网络设备聚合处理的准确性，从而提升DNN模型训练效率，也不影响网络设备对非聚合报文的转发功能。

在一种可能的设计中，至少两个报文分别在具有同一消息索引的消息中具有同一序列号。由于报文中的序列号也能够指示报文中的参数数据在DNN模型中的位置的参数数据。在一条消息切分为多个报文的情况下，网络设备根据消息索引和序列号来确定待聚合的报文，以保证网络设备聚合处理的准确性。

在一种可能的设计中，若第一报文是第一报文所属消息的首个报文，则第一报文还包括第一字段，第一字段用于指示对第一报文所属消息中的参数数据执行聚合处理。其中，第一报文是至少两个报文中的任意一个报文。如此，网络设备即可根据第一字段，快速、有效地识别出待聚合处理的报文和无需聚合处理的报文，保证聚合处理效率，也使得网络设备快速转发无需聚合处理的报文。

在一种可能的设计中，若第一报文是第一报文所属消息的首个报文，则第一报文还包括第二字段，第二字段用于承载第一报文所属消息的消息索引。第一报文所属消息的消息索引用于索引第一报文所属的消息。其中，第一报文是至少两个报文中的任意一个报文。如此，网络设备即可根据第二字段，确定该第一报文所属的消息，以便于网络设备将属于同一消息索引的消息的报文进行聚合。