[发明专利]一种基于设备感知的显著性物体检测方法及系统

说明书

本公开提供了一种基于设备感知的显著性物体检测方法及系统，获取待检测的图像；根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支；本公开仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型，提高了目标设备显著性物体检测的效率和精度，实现了目标设备显著性物体检测的性能和延迟的平衡。

技术领域

本公开涉及显著性物体检测技术领域，特别涉及一种基于设备感知的显著性物体检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

显著性物体检测(SOD)旨在分割出图像中最吸引人的物体，作为预处理步骤，许多下游应用程序都需要SOD，例如图片编辑，图像检索，视觉追踪，图片质量评估和视频对象分割。这些应用程序通常要求以低推理延迟将SOD模型部署在多个设备上，例如GPU，CPU，移动电话和嵌入式设备。每个设备都有独特的属性。例如，GPU擅长进行大规模并行计算，而嵌入式设备则以低计算预算为代价实现了能源友好型。因此，不同的部署方案需要完全不同的SOD模型设计。

最新的SOD方法大多人工设计显著性头来聚合来自预训练骨干网的多级特征。然而，过高的推理延迟通常会限制将它们应用于GPU以外的其他设备。由于表达能力的降低，为资源受限的情况而设计的人工低延迟SOD模型会遭受较大的性能下降。模型性能和推理延迟之间的难题导致繁重的工作量，需要手动为不同设备设计SOD模型。

发明人发现，在不同设备上实现低延迟SOD模型存在多个挑战。首先，由于不同的并行计算能力，IO瓶颈和实现方式，各种操作的相对延迟在不同的设备之间有所不同。将为一台设备设计的SOD模型转移到另一台设备会导致次佳的延迟和性能。其次，传统的人工SOD模型要么设计功能更强大的显著头，要么设计更高效的骨干网，而忽略了它们之间的关系。发明人观察到，功能强大的骨干网在弱显著头的情况下实现了次优效率，反之亦然。这些障碍使学界无法通过人工或NAS方案设计设备感知的低延迟SOD模型，从而使得在不同设备上的SOD模型的无法实现性能和延迟的平衡。

发明内容

为了解决现有技术的不足，本公开提供了一种基于设备感知的显著性物体检测方法及系统，仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型，提高了目标设备显著性物体检测的效率和精度，实现了目标设备显著性物体检测的性能和延迟的平衡。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于设备感知的显著性物体检测方法。

一种基于设备感知的显著性物体检测方法，包括以下过程：

获取待检测的图像；

根据获取的图像和预设显著性物体检测模型，得到图像中的显著性物体检测结果；

其中，显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到，搜索空间包括可搜索的多尺度单位和可搜索的显著头，多尺度单位将搜索到的多分支卷积重新参数化为一个分支。

进一步的，通过多尺度单位自动查找合适的多尺度融合。

进一步的，多尺度单位使多分支结构在训练中捕获多尺度特征表示。

进一步的，可搜索的显著头中，相邻分辨率级别的标识分支和上采样分支是固定的。

进一步的，显著头包括可搜索的传输和解码器部分。

进一步的，建立目标设备的延迟查找表；

基于延迟组采样进行进化搜索；