[发明专利]一种基于多任务网络模型的通信方法、装置及系统

说明书

本申请公开了一种基于多任务网络模型的通信方法、装置及系统，以期更好的在MTL模式下实现端云协作。该方法可以通过以下步骤实现：第一通信装置利用第一主干网络模型对输入信号进行处理，获得融合特征，融合特征为多个第一特征融合得到的，该多个第一特征为对输入信号进行特征提取获得的；第一通信装置对融合特征进行压缩和信道编码，得到第一信息；第一通信装置向第二通信装置发送第一信息。第二通信装置接收第一通信装置的第二信息；第二通信装置对第二信息进行解压和信道译码，得到融合特征的重构特征；第二通信装置利用第二主干网络模型对重构特征进行特征解析，得到特征解析的结果；第二通信装置利用功能网络模型处理特征解析的结果。

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种基于多任务网络模型的通信方法、装置及系统。

背景技术

随着深度学习的发展，卷积神经网络(convolutional neural network，CNN)在计算机视觉领域发挥着越来越重要的作用，比如检测、跟踪、识别、分类或预测等任务都可以使用CNN建立相应的网络模型来解决。通常情况下，每一个网络模型只能解决一个任务，这种网络模型与任务一一对应的模式称为单任务学习(single task learning，STL)模式。基于STL模式，解决多个任务就需要多个网络模型，比较低效且耗费存储空间。基于此，提出一种多任务学习(multi-task learning，MTL)模式，MTL模式采用多任务网络模型，多任务网络模型中多个功能网络模型共享主干网络模型产生的中间特征，不同功能网络模型分别完成不同的任务。MTL模式能够更加高效并且降低了模型的存储成本。

近年来，虽然CNN模型的性能越来越高，但是模型的结构也越来越复杂并且需要的计算资源越来越大，一般的移动设备无法为其提供足够的计算资源。因此，一种端云协作的模型运行方式被提出，即协同智能(collaborative intelligence，CI)。CI场景下的模型被分为两部分，一部分位于移动设备端，另一部分位于云端。移动设备运行部分网络模型，云端运行另一部分网络模型，在移动设备和云端之间需要传输中间特征，以达到协作的目的。端云协作的模型运行方式能够降低移动设备的计算成本。

MTL模式下多任务网络模型的结构比较复杂，如何在MTL模式下实现端云协作，是需要解决的问题。

发明内容

本申请实施例提供一种基于多任务网络模型的通信方法、装置及系统，以期在MTL模式下实现端云协作。

第一方面，提供一种基于多任务网络模型的通信方法，该方法可以由第一通信装置执行，也可以由第一通信装置的部件(例如处理器、芯片、或芯片系统等)执行。第一通信装置可以是终端设备也可以是云端，多任务网络模型包括第一主干网络模型。该方法可以通过以下步骤实现：第一通信装置利用第一主干网络模型对输入信号进行处理，获得融合特征，融合特征为多个第一特征融合得到的，该多个第一特征为对输入信号进行特征提取获得的；第一通信装置对融合特征进行压缩和信道编码，得到第一信息；第一通信装置向第二通信装置发送第一信息。通过对输入信号提取的多个第一特征进行融合，得到的融合特征能够包含更多的信息，能够使得第二通信装置在基于融合特征进行另一部分的网络模型处理时更加准确。在特征提取阶段生成融合特征，能够使得多任务网络模型的结构更加清晰，更加有利于将多任务网络模型被划分为第一通信装置执行的部分和第二通信装置执行的部分，更利于实现MTL模式下的端云协作。并且通过压缩使得在第一通信装置和第二通信装置之间传输的参数较少，降低传输开销，通过信道编码能够使得第一通信装置和第二通信装置之间传输的数据的抗噪性能更好。