[发明专利]无监督的物体实例检测方法及装置

权利要求书

1.一种无监督的物体实例检测方法，其特征在于，包括：

将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵；

根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例；

其中，所述亲和度函数用于确定像素点之间的亲和度，由视频帧序列中图像帧对应的目标深度图的目标场景流作为监督信号，输入深度神经网络模型中训练得到；

其中，所述将待检测图像输入训练好的深度神经网络模型，根据训练好的深度神经网络模型中的亲和度函数，获取所述待检测图像的各像素间的亲和度矩阵，包括：

将待检测图像输入训练好的深度神经网络模型，通过训练好的深度神经网络模型中用于识别前景像素的前景物体头，获取待检测图像的前景像素区域；

将待检测图像的前景像素区域通过所述亲和度函数进行处理，获取所述前景像素区域的各像素间的亲和度矩阵；

其中，深度神经网络模型包括骨干网络、特征金字塔以及前景物体头和亲和度函数头；骨干网络用于提取图像的视觉特征，特征金字塔用于编码不同尺度的视觉特征；前景物体头用以区分前景和背景像素，亲和函数头编码局部窗口内像素的亲和关系；

其中，亲和函数的损失函数为：

其中，l_d表示深度亲和度损失，l_m表示运动亲和度损失，h,w代表图像的长和宽，r代表局部窗口的大小，O表示输出的亲和度矩阵，A_d和A_v表示从深度图和场景流获得的深度亲和度和运动亲和度。

2.根据权利要求1所述的无监督的物体实例检测方法，其特征在于，在将待检测图像输入训练好的深度神经网络模型之前，还包括：

将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型，训练待训练的神经网络模型中的亲和度函数，以获取训练好的深度神经网络模型。

3.根据权利要求2所述的无监督的物体实例检测方法，其特征在于，在将所述目标深度图和所述目标场景流作为监督信号，输入至待训练的深度神经网络模型之前，还包括：

将各所述图像帧输入预训练的深度模型，获取所述目标深度图，并将各所述图像帧输入预训练的光流模型，获取所述目标场景流。

4.根据权利要求3所述的无监督的物体实例检测方法，其特征在于，所述将各所述图像帧输入预训练的深度模型，获取所述目标深度图，包括：

将各所述图像帧输入预训练的深度模型，获取初始深度图；

根据预设的时序约束和几何约束，对所述初始深度图进行优化，获取所述目标深度图。

5.根据权利要求3所述的无监督的物体实例检测方法，其特征在于，所述将各所述图像帧输入预训练的光流模型，获取所述目标场景流，包括：

将各所述图像帧输入预训练的光流模型，获取初始场景流；

根据预设的时序约束和几何约束，对所述初始场景流进行优化，并将优化以后的初始场景流投影到图像平面中，获取所述目标场景流。

6.根据权利要求1所述的无监督的物体实例检测方法，其特征在于，根据所述亲和度矩阵，对所述待检测图像进行物体检测，获取所述待检测图像中的各物体实例，包括：

根据所述前景像素区域中的各像素点以及所述亲和度矩阵，构建无向图模型；

根据图像分割算法处理所述无向图模型，获取所述前景像素区域中的各物体实例；

其中，所述无向图模型的顶点为所述前景像素区域中的像素点，所述无向图模型的边的权重根据所述亲和度矩阵确定。