[发明专利]基于计算卸载机制的实时实例分割方法和系统

说明书

本发明公开了一种基于计算卸载机制的实时实例分割方法和系统，该方法包括：构建目标网络模型；获取当前网络带宽，根据目标网络模型的结构以及每个模块输出的特征图大小和计算量，确定计算卸载点以及特征图压缩比率；以计算卸载点为切分点，将目标网络模型分成两部分；将物联网设备上视觉传感器采集的数据传入前段网络模型进行计算，得到中间结果数据；按照设定的压缩比率和降采样方法，对数据进行压缩操作，并将压缩后的数据发送至边缘服务器；边缘服务器对接收的数据进行解压缩操作后传入后段网络模型进行计算，得到推理结果并将其返回至物联网设备。本发明公开的基于计算卸载机制的实时实例分割方法，能够在资源受限设备上实时运行。

技术领域

本发明涉及计算机视觉及智能物联网技术领域，尤其涉及一种基于计算卸载机制的实时实例分割方法和系统。

背景技术

近年来，随着人工智能在计算机视觉、语音识别、自然语言处理等领域的飞速发展，越来越多的智能信息处理技术开始被集成到传统的物联网系统当中，极大地激发了物联网环境感知与理解的潜能。实例分割作为基础的视觉理解任务之一，可广泛应用于汽车自动驾驶、机器人控制、辅助医疗和遥感影像等领域。

在实例分割的早期研究阶段，研究者们致力于提高其推理精度，不断地通过加深骨干网络深度，增加特征金字塔结构，以及设计复杂的预测模块来提高精度，诞生了诸如FCIS、DeepMask、Mask R-CNN等著名的工作。然而，在提升推理精度的同时，实例分割方法的计算复杂度也与日俱增，使得其推理耗时远大于其他较为简单的视觉理解任务，例如图像分类、目标检测等。直到2018年，Mask R-CNN仍然是最快的实例分割方法之一，该方法在高性能GPU(graphics processing unit，图形处理器)Titan Xp上仅能达到13.5FPS(FramesPer Second，每秒传输帧数)的推理速度。近年来，考虑到许多实例分割应用场景对于实时性有着较高的要求，越来越多工作将重心转移到研究实时的实例分割方法。2019年，Bolya等人提出了第一个实时的实例分割方法，该方法只能在高性能GPU处理器上达到实时的效果。但是由于成本、体积、载重、以及耗电等多方面因素的影响，常规的物联网设备根本无法负载如此笨重的GPU处理单元，因此面向资源受限物联网设备的实时实例分割仍然是一个难题。

目前，大多数研究尝试利用剪枝、蒸馏、量化等技术手段对模型进行压缩，以实现推理的加速。但是，这种方法往往以牺牲精度代价，换取推理速度的提升，导致其无法应用于对精度要求较高的场景，大大限制了其应用范围。在我们先前的工作[Xie Y,Guo Y,ChenY,et al.Real-Time Instance Segmentation for Low-Cost Mobile Robot SystemsBased on Computation Offloading[C]//2021International Conference onCommunications,Computing,Cybersecurity,and Informatics(CCCI).IEEE,2021:1-5]中,首次采用计算卸载机制，解决实例分割网络在低成本移动机器人上的实时推理问题，在提升推理速度的同时几乎未损失精度。但仍存在两方面问题：一是计算卸载过程中的数据传输量仍然较大，数据通信成本较高；二是未考虑动态网络环境对于计算卸载策略的影响，在网络带宽较低时无法满足时延需求。

发明内容

本发明实施例的目的是提供一种基于计算卸载机制的实时实例分割方法和装置、电子设备，以解决现有实例分割算法对处理器能力要求较高，无法在资源受限设备上实时运行的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种基于计算卸载机制的实时实例分割方法，其中，所述方法包括：在目标实例分割网络的骨干网络中的降采样层前添加注意力机制模块，并输入图片训练集对所述目标实例分割网络进行训练，得到目标网络模型；

获取当前网络带宽，根据所述目标网络模型的结构以及每个模块输出的特征图大小和计算量，确定计算卸载点以及特征图压缩比率；