[发明专利]用于视频中物体检测的图像处理方法、装置及设备

权利要求书

1.一种用于视频中物体检测的图像处理方法，其特征在于，针对所述视频中的待处理的当前帧图像，包括：

提取所述当前帧图像的初始特征图；

以所述初始特征图为基础，将所述当前帧图像的历史特征图与所述初始特征图进行相关性匹配，得到第一重构特征图；

以所述当前帧图像的历史特征图为基础，将所述初始特征图与所述历史特征图进行相关性匹配，得到第二重构特征图；

将所述初始特征图、所述第一重构特征图和所述第二重构特征图进行特征融合，得到融合后的特征图。

2.根据权利要求1所述的方法，其特征在于，所述以所述初始特征图为基础，将所述历史特征图与所述初始特征图进行相关性匹配，得到所述第一重构特征图，包括：

获取所述初始特征图的第(w1,h1)个空间位置的初始特征向量；

在所述历史特征图的第一预设范围内，确定第一空间匹配位置，其中，所述第一空间匹配位置的第一特征向量与所述初始特征向量的相关性最大；

根据所述第一特征向量，构建所述第一重构特征图，其中，所述第一重构特征图的第(w1,h1)个空间位置具有所述第一特征向量；

其中，所述初始特征图的空间维度为W×H，w1的取值范围为1至W，h1的取值范围为1至H。

3.根据权利要求2所述的方法，其特征在于，所述第一预设范围为所述历史特征图的空间位置(i1,j1)的范围，其中，w1-b≤i1≤w1+b，h1-b≤j1≤h1+b，b为预设带宽。

4.根据权利要求1所述的方法，其特征在于，所述以所述历史特征图为基础，将所述初始特征图与所述历史特征图进行相关性匹配，得到所述第二重构特征图，包括：

获取所述历史特征图的第(w2,h2)个空间位置的第二特征向量；

在所述初始特征图的第二预设范围内，确定第二空间匹配位置(w3,h3)，其中，所述第二空间 匹配位置(w3,h3)的特征向量与所述第二特征向量的相关性最大；

根据所述第二特征向量，构建所述第二重构特征图，其中，所述第二重构特征图的第(w3,h3)个空间位置具有所述第二特征向量；

其中，所述历史特征图的空间维度为W×H，w2的取值范围为1至W，h2的取值范围为1至H。

5.根据权利要求4所述的方法，其特征在于，所述第二预设范围为所述初始特征图的空间位置(i2,j2)的范围，其中，w2-b≤i2≤w2+b，h2-b≤j2≤h2+b，b为预设带宽。

6.根据权利要求2至5中任一项所述的方法，其特征在于，通过计算两个特征向量之间的夹角余弦值或通过计算两个特征向量之间的距离来计算相关性。

7.根据权利要求1所述的方法，其特征在于，所述将所述初始特征图、所述第一重构特征图和所述第二重构特征图进行特征融合，得到融合后的特征图，包括：

基于卷积神经网络，计算与所述初始特征图、所述第一重构特征图和所述第二重构特征图分别对应的初始权重、第一权重和第二权重；

根据所述初始权重、所述第一权重和所述第二权重，将所述初始特征图、所述第一重构特征图和所述第二重构特征图进行加权求和，得到所述融合后的特征图。

8.根据权利要求7所述的方法，其特征在于，所述基于卷积神经网络，计算与所述初始特征图、所述第一重构特征图和所述第二重构特征图分别对应的初始权重、第一权重和第二权重，包括：

通过参数共享的第一卷积神经网络，根据所述初始特征图、所述第一重构特征图和所述第二重构特征图分别得到第一特征图、第二特征图和第三特征图，其中，所述初始特征图、所述第一重构特征图和所述第二重构特征图的通道数维度为C0，所述第一特征图、所述第二特征图和所述第三特征图的通道数维度为C1，且C1C0；

将所述第一特征图、所述第二特征图和所述第三特征图进行拼接，通过第二卷积神经网络，得到第四特征图，其中，所述第四特征图的通道数为3；

将所述第四特征图按照通道数进行拆分，从而得到所述初始权重、所述第一权重和所述第二权重。