[发明专利]实例分割方法及装置、电子设备及存储介质

说明书

本申请实施例提供一种实例分割方法及装置、电子设备及存储介质，其中，获取待处理图像的第一语义信息，和所述待处理图像中的待分割实例的第一实例特征和与所述第一实例特征对应的第一实例掩模；基于所述第一语义信息、所述第一实例特征和所述第一实例掩模，进行至少两个阶段的语义融合处理，得到第二实例掩模；其中，将前一阶段语义融合处理输出的第一实例特征进行上采样得到后一阶段的实例特征，并基于后一阶段的实例特征得到其对应的实例掩模，将后一阶段的实例特征、后一阶段的实例掩膜和后一阶段对应的语义信息作为后一阶段语义融合处理的输入特征；且，每一阶段语义融合处理的输入特征中的语义信息的分辨率与实例特征的分辨率相同。

技术领域

本申请实施例涉及实例分割技术领域，涉及但不限于一种实例分割方法及装置、电子设备及存储介质。

背景技术

物体检测和实例分割的目标是检测出图片中的物体并要求分割出物体的像素。高质量实例分割要求模型不仅能够分割出图片中的物体，而且要在像素级别达到高准确率。在相关技术中，基于物体检测框为每个物体提取特征，并且在提取特征过程中采用下采样操作以处理不同尺度的物体，以实现物体检测和实例分割，难以达到较高的实例分割的准确度。

发明内容

本申请实施例提供一种实例分割技术方案。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种实例分割方法，所述方法包括：

获取待处理图像的第一语义信息，和所述待处理图像中的待分割实例的第一实例特征和与所述第一实例特征对应的第一实例掩模；

基于所述第一语义信息、所述第一实例特征和所述第一实例掩模，进行至少两个阶段的语义融合处理，得到第二实例掩模；

其中，将前一阶段所述语义融合处理输出的第一实例特征进行上采样得到后一阶段的实例特征，并基于所述后一阶段的实例特征得到其对应的实例掩模，将所述后一阶段的所述实例特征、所述后一阶段的实例掩膜和所述后一阶段对应的语义信息作为后一阶段语义融合处理的输入特征；且，每一阶段所述语义融合处理的输入特征中的语义信息的分辨率与实例特征的分辨率相同。

在一些实施例中，所述基于所述第一语义信息、所述第一实例特征和所述第一实例掩模，进行至少两个阶段的语义融合处理，得到第二实例掩模，包括：基于所述第一语义信息、所述第一实例特征和所述第一实例掩模，进行第一阶段的语义融合处理，得到第二实例特征；基于所述第二实例特征、与所述第二实例特征对应的阶段实例掩模和第二语义信息进行至少一阶段的语义融合处理，得到所述第二实例掩模；其中，所述第二语义信息的分辨率与所述第二实例特征的分辨率相同。如此，对第一语义信息、第一实例特征和第一实例掩模进行多阶段细化，能并且每一阶段输出的结果的分辨率大于其前一阶段输出结果的分辨率，从而能够为每一个待分割实例输出高分辨率的实例掩模。

在一些实施例中，所述基于所述第一语义信息、所述第一实例特征和所述第一实例掩模，进行第一阶段的语义融合处理，得到第二实例特征，包括：将所述第一语义信息中的第一语义特征和所述第一实例特征进行融合，得到第一融合特征；将所述第一融合特征、所述第一语义信息中第一语义掩模和所述第一实例掩模相连接，得到所述第二实例特征。如此，通过采用语义融合模块对待分割图像的特征和掩模进行融合，能够得到具更细粒度的第二实例特征。

在一些实施例中，所述将所述第一语义信息中的第一语义特征和所述第一实例特征进行融合，得到第一融合特征，包括：采用第一卷积操作，对所述第一语义特征和所述第一实例特征进行处理，得到第一卷积特征；分别采用多个第二卷积操作，对所述第一卷积特征进行处理，得到多个第二卷积结果；其中，所述第一卷积操作的卷积核小于所述第二卷积的卷积核，且所述多个第二卷积操作的空洞大小不同；基于所述多个第二卷积结果，确定所述第一融合特征。如此，使得到的融合特征能够充分保留待分割实例局部细节信息。