[发明专利]一种基于图像流的协同检测方法及装置、存储介质

说明书

本申请涉及一种基于图像流的协同检测方法及装置、存储介质，其中协同检测方法包括：从图像流中获取目标对象的多幅样本图像；提取多幅样本图像的特征，得到每幅样本图像的单张特有特征和多幅样本图像的组间共有特征；对单张特有特征和组间共有特征进行融合，得到每幅样本图像的语义检测结果。技术方案不仅会考虑了通道间的注意力机制，还会考虑尺度和位置间的注意力机制，从而保留有效特征信息，剔除单张图像的噪声信息，如此利于提高特征提取的准确性和图像检测的准确率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于图像流的协同检测方法及装置、存储介质。

背景技术

当前，基于图像的深度学习检测和识别算法，多数是采用一张图像做输入，获取图像中的低级特征和高级特征，进而完成检测和识别，但是对于一些应用场景，仅仅考虑一张图片将无法做出来准确的判断。例如，在人脸识别中对于正脸很容易识别出来，但是对于侧脸或者一些斜视角度进行识别，其就存在一些问题和难度。对于物体表面的检测也存在一样的问题，例如划痕在某一个方向的照射下，可以在图像中获得清晰的呈现，在另外一个方向上就无法清晰成像，此时将对物体表面检测带来困难。

传统的协同检测，主要利用色彩信息、纹理以及SIFT特征描述子方式进行特征的融合，该方法依赖于工程师的先验经验，特征的选择过于主观；并且，将特征提取和检测被动的分割为两个独立的过程，致使特征的提取并不能够很好地为后续的检测做准备。

发明内容

本发明主要解决的技术问题是：如何克服现有图像检测中存在的检测准确率低的技术缺陷。为解决上述技术问题，本申请一种基于图像流的协同检测方法及装置、存储介质。

根据第一方面，一种实施例中提供一种基于图像流的协同检测方法，其包括：从图像流中获取目标对象的多幅样本图像；提取所述多幅样本图像的特征，得到每幅所述样本图像的单张特有特征和所述多幅样本图像的组间共有特征；对所述单张特有特征和所述组间共有特征进行融合，得到每幅所述样本图像的语义检测结果。

所述提取所述多幅样本图像的特征，得到每幅所述样本图像的单张特有特征和所述多幅样本图像的组间共有特征，包括：对所述多幅样本图像分别进行卷积网络处理，得到每幅所述样本图像对应的特征数据；对每幅所述样本图像对应的特征数据进行高级语义特征的抽取，得到每幅所述样本图像的单张特有特征；通过注意力机制对各幅所述样本图像对应的特征数据进行统一抽取，得到所述多幅样本图像的组间共有特征。

所述对每幅所述样本图像对应的特征数据进行高级语义特征的抽取，得到每幅所述样本图像的单张特有特征，包括：构建第一变换关系f₁，且满足公式

；

设定X_n为任意所述样本图像对应的特征数据，在输入至所述第一变换关系f₁后计算得到每幅所述样本图像的单张特有特征，且表示为S_n；其中，，为尺寸是H×W×C的所述样本图像中图像特征的集合，n为所述样本图像的序号，为所述样本图像的网络权重系数向量。

所述通过注意力机制对各幅所述样本图像对应的特征数据进行统一抽取，得到所述多幅样本图像的组间共有特征，包括：通过注意力机制构建第二变换关系f₂，且满足公式

；