[发明专利]基于计算卸载机制的实时实例分割方法和系统

权利要求书

1.一种基于计算卸载机制的实时实例分割方法，其特征在于，所述方法包括：

在目标实例分割网络的骨干网络中的降采样层前添加注意力机制模块，并输入图片训练集对所述目标实例分割网络进行训练，得到目标网络模型；

获取当前网络带宽，根据所述目标网络模型的结构以及每个模块输出的特征图大小和计算量，确定计算卸载点以及特征图压缩比率；

根据所确定的计算卸载方案，以计算卸载点为切分点，将所述目标网络模型分成两部分，其中，前段模型部署在物联网设备上，后段模型部署在边缘服务器上，且所述物联网设备与所述边缘服务器间建立有通信链接；

将所述物联网设备上视觉传感器采集的数据传入所述前段网络模型进行计算，得到中间结果数据；

采用预设的降采样压缩方法按照设定的压缩比率，对数据进行压缩操作，并将压缩后的数据发送至所述边缘服务器；

所述边缘服务器对接收的数据进行解压缩操作，将解压后的数据传入所述后段网络模型进行计算，得到推理结果；

所述边缘服务器将所述推理结果返回至所述物联网设备。

2.根据权利要求1所述的方法，其特征在于，所述获取当前网络带宽，根据所述目标网络模型的结构以及每个模块输出的特征图大小和计算量，确定计算卸载点以及特征图压缩比率的步骤，包括：

选取实例分割网络中骨干网的所有降采样层为候选计算卸载点；

根据当前网络带宽，联合优化计算卸载点与特征图压缩比率，使得在满足时延要求的前提下最大化推理精度。

3.根据权利要求2所述的方法，其特征在于，所述根据当前网络带宽，联合优化计算卸载点与特征图压缩比率，使得在满足时延要求的前提下最大化推理精度的步骤，包括：

设置初始通道注意力阈值和空间注意力阈值；

计算各个候选计算卸载点处的数据传输量；

计算以各个候选计算卸载点为最终卸载点的计算卸载方案的数据传输时间以及推理总延时；

判断当前所有候选计算卸载方案中，最小的推理延时是否满足时延要求；

若满足，则输出当前计算卸载点、通道注意力阈值和空间注意力阈值。

4.根据权利要求3所述的方法，其特征在于，在所述判断当前所有候选计算卸载方案中，最小的推理延时是否满足时延要求的步骤之后，所述方法还包括：

若不满足，以第一预设时间间隔增加通道注意力阈值，重新计算各候选计算卸载方案的推理总延时，直至存在一个方案的推理延时满足所述时延要求；

当通道注意力阈值大于或等于最大通道注意力阈值时，未确定出满足时延要求的计算卸载方案的情况下，将当前推理时延最小的计算卸载方案作为临时计算卸载方案；

以所述第一预设时间间隔增加空间注意力阈值，重新计算当前临时计算卸载方案的推理总延时，直至方案满足时延要求并输出满足时延要求的计算卸载点、通道注意力阈值以及空间注意力阈值。

5.根据权利要求1所述的方法，其特征在于，所述采用预设的降采样压缩方法按照设定的压缩比率，对数据进行压缩操作的步骤，包括：

采用注意力模块获取特征地图的通道注意力权重和空间注意力权重；

根据激活函数，激活特征地图的部分通道和空间区域；

对特征地图中激活的通道执行预设的降采样操作，获取压缩的特征地图。

6.根据权利要求5所述的方法，其特征在于，所述对特征地图中激活的通道执行预设的降采样操作，获取压缩的特征地图的步骤，包括：

对于每个激活的通道，提取激活的空间区域，并执行第一降采样操作，获取压缩的激活区域信息；

将激活空间区域的特征值替换为0，并对整个激活的通道执行双倍步长的第二降采样操作，得到压缩的非激活区域信息。

7.根据权利要求1所述的方法，其特征在于，所述边缘服务器对接收的数据进行解压缩操作的步骤，包括：

所述边缘服务器采用像素插值，恢复特征图的宽度和高度至压缩前维度；

零填充重建未激活通道，并根据未激活通道索引，将未激活通道插入，恢复特征图的通道数至压缩前维度。