[发明专利]特征图的处理方法和相关设备

说明书

本申请涉及人工智能技术领域，提供了一种特征图的处理方法和相关设备。该方法通过调用包括多个输入适配分支和后处理部分的神经网络模型实现，多个输入适配分支的输出为后处理部分的输入，多个输入适配分支中的每个输入适配分支可对特征图进行不同倍率的下采样处理；具体地，将第一特征图输入多个输入适配分支中的其中一个输入适配分支，以得到第二特征图，其中一个输入适配分支是根据第一特征图的尺寸和预设尺寸阈值确定的，预设尺寸阈值为后处理部分的输入特征图的上限尺寸，第二特征图的尺寸不大于预设尺寸阈值；将第二特征图输入后处理部分进行后处理，以得到第一特征图的处理结果。本申请实施例能够降低算力。

技术领域

本申请实施例涉及人工智能(AI)技术领域，尤其涉及一种特征图的处理方法和相关设备。

背景技术

现有机器任务的神经网络是以图像作为输入的视觉任务神经网络(简称为图像域任务网络)，也即图像域任务网络的输入为图像，图像域任务网络对输入的图像进行处理后，输出处理结果。图像域任务网络结合视频或图像编解码应用时，需要解码端(例如基于人工神经网络的图像解码器)首先解析码流产生重建特征图，再将重建特征图输入图像重建网络产生重建图像，以重建图像作为图像域任务网络的输入。因此，图像域任务网络结合视频或图像编解码应用时需要较大的算力。

发明内容

本申请提供一种特征图的处理方法和相关设备，能够降低算力。

上述和其它目标通过独立权利要求的主体实现。其它实现方式在从属权利要求、具体实施方式和附图中显而易见。

具体实施例在所附独立权利要求中概述，其它实施例在从属权利要求中概述。

根据第一方面，本申请涉及一种特征图的处理方法。所述方法由电子设备执行，所述方法通过调用神经网络模型实现，所述神经网络模型包括多个输入适配分支和后处理部分，所述多个输入适配分支的输出为所述后处理部分的输入，所述多个输入适配分支用于对特征图进行下采样，所述多个输入适配分支中的每个输入适配分支对特征图的下采样倍率不同；所述方法包括：将第一特征图输入所述多个输入适配分支中的其中一个输入适配分支，以得到第二特征图，所述其中一个输入适配分支是根据所述第一特征图的尺寸和预设尺寸阈值确定的，所述预设尺寸阈值为所述后处理部分的输入特征图的上限尺寸，所述第二特征图的尺寸不大于所述预设尺寸阈值；将所述第二特征图输入所述后处理部分进行后处理，以得到所述第一特征图的处理结果。

在本申请实施例中，用于机器任务处理的视觉任务神经网络为以特征图为输入的特征域任务网络，例如本申请设计的神经网络模型的输入可以为解码器解析码流重建得到的特征图，输出为该特征图对应的任务处理结果，如此，相比图像域任务网络，跳过根据重建的特征图得到重建的图像的过程，从而降低了算力；并且，相比于图像，神经网络模型对特征图进行处理的算力也较小。进一步地，本申请设计的该神经网络模型包括多个输入适配分支和后处理部分，多个输入适配分支的输出为后处理部分的输入，多个输入适配分支中的每个输入适配分支可以对特征图进行不同倍率的下采样。对于输入该神经网络模型的不同尺寸(分辨率)的第一特征图，均可以根据该第一特征图的尺寸和后处理部分的输入特征图的上限尺寸从多个输入适配分支中选择其中一个输入适配分支，采用该其中一个输入适配分支对该第一特征图进行下采样处理，生成尺寸不大于后处理部分的输入特征图的上限尺寸的第二特征图，如此，第二特征图满足后处理部分对输入特征图的尺寸要求，将第二特征图输入后处理部分进行后处理，即可得到第一特征图的处理结果；因此，本申请可以在神经网络模型的输入特征图为不同分辨率的情况下，以相近的算力保持高的分析精度。此外，相比于为每种分辨率的输入特征图分别训练一个独立的神经网络模型(每个网络的算力相近)，然后通过针对不同分辨率训练的神经网络模型对不同分辨率的特征图进行处理，本申请设计的神经网络模型通过多个输入适配分支即可实现相同的功能，且多个输入适配分支为神经网络模型的主干网络前部，神经网络模型中只有一套后处理部分(主干网络核心部分和头部网络)，这样可以显著节省网络参数，在推理时也不需要切换网络模型，减少模型布署的难度。