[发明专利]基于神经网络的实例分割方法和装置以及存储介质

说明书

本发明公开了一种基于神经网络的实例分割方法和装置以及存储介质。其中，该方法包括：通过获取视频流中的目标图片；将目标图片输入至目标实例分割神经网络中，输出第一实例集合，其中，实例分割神经网络包括：检测网络、特征图处理层以及掩码处理层，检测网络用于获取实例边界框的参数，特征图处理层将边界框的参数进行处理，得到目标参数，掩码处理层根据目标参数对目标图片进行实例分割；根据第一实例集合中的目标实例之间的重叠度确定第一实例集合中目标实例的相似实例；确定相似实例中大于第一预定阈值的实例，得到目标图片中目标实例的至少一个实例图片，进而解决了现有技术中，实例分割计算速度较低的技术问题。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于神经网络的实例分割方法和装置以及存储介质。

背景技术

在图像进行处理的时候，通常需要对图片中所包含的各个实例进行定位和区分。例如，采用目标检测方法框出不同的实例，再用语义分割方法对不同类别的实例所在区域进行逐像素标记，从而区分不同类别的实例。若需要对相同类别的实例进行进一步的区分，则对图片进行实例分割，实例分割不仅可以对图片进行类别的区分，还可以在相同类别的实例中区分出不同的实例。

现有的采用基于候选区域的实例分割架构对图片在N个层级的预测网络中实例分割，以直接得到实例分割结果。通过级联的方式提高了实例分割的准确率，但是推理速度却大大降低了，没有做到速度与精度的均衡。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于神经网络的实例分割方法和装置以及存储介质，以至少解决现有技术中，实例分割计算速度较低的技术问题。

根据本发明实施例的一个方面，提供了一种基于神经网络的实例分割方法，包括：获取视频流中的目标图片；将所述目标图片输入至目标实例分割神经网络中，输出第一实例集合，其中，所述实例分割神经网络包括：检测网络、特征图处理层以及掩码处理层，所述检测网络用于获取实例边界框的参数，所述特征图处理层将所述边界框的参数进行处理，得到目标参数，所述掩码处理层根据所述目标参数对所述目标图片进行实例分割；根据所述第一实例集合中的目标实例之间的重叠度确定第一实例集合中所述目标实例的相似实例；确定所述相似实例中大于第一预定阈值的实例，得到所述目标图片中所述目标实例的至少一个实例图片。

可选的，所述将所述目标图片输入至目标实例分割神经网络中，输出第一实例集合之前，所述方法包括：获取视频流中的样本图片集合；将所述样本图片集合中每张图片中的目标对象进行标注，得到目标数据集；将所述标注数据集输入至预设实例分割神经网络中，其中，所述预设神经网络包括预设检测网络、预设特征图处理层、预设掩码处理层以及目标损失函数，所述检测网络用于获取预设样本图片中实例边界框的参数，所述特征图处理层将所述预设样本图片中实例的边界框的参数进行处理，得到预设目标参数，所述掩码处理层根据所述预设目标参数对所述样本目标图片进行实例分割，所述目标损失函数，所述目标损失函数包括二元交叉熵损失函数和交并比损失函数；在所述目标损失函数满足预定条件的情况下，确定为所述实例分割神经网络。

可选的，将所述样本图片集合中每张图片中的目标对象进行标注，得到目标数据集包括：采用实例分割标准数据增强技术将样本图片集合中的每张图片和标注结果进行数据增强，得到所述目标数据集。

可选的，将所述样本图片集合中每张图片中的目标对象进行标注，得到目标数据集之后，所述方法还包括：将所述目标数据集按照预设比例划分为训练集、验证集和测试集，其中，所述训练集用于所述预设实例分割神经网络的训练、所述验证集用于所述预设实例分割神经网络的验证和所述测试集用于所述预设神经网络分割模型测试。