[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；将第一注意力信息和第一色彩图像输入第一特征提取网络，获得第一特征信息；将第一时刻的动态视觉信息输入第二特征提取网络，获得的第二特征信息；根据第一特征信息和第二特征信息，获得目标对象在第一时刻的位置信息。根据本公开的实施例的图像处理方法，动态视觉信息的拍摄频率高于色彩图像的拍摄频率，可获取到色彩图像的拍摄间隔中的动态视觉信息，从而确定拍摄间隔中多个时刻的位置信息，使得位置信息的获取频率提高，有助于对运动对象的运动轨迹或动作进行追踪，提升追踪效果。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在一定时间段内采集到的视频帧的数量有限，如果拍摄的目标对象速度较快，则在两个视频帧之间的时间间隔中，难以拍摄到目标对象，也难以确定目标对象的位姿，导致遗漏目标对象的动作或轨迹。

发明内容

本公开提出了一种图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；将所述第一色彩图像以及所述第一注意力信息输入第一特征提取网络，获得所述第一色彩图像的第一特征信息；将第一时间段内的第一时刻获取的所述目标对象的动态视觉信息输入第二特征提取网络，获得与所述动态视觉信息对应的第二特征信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第三特征信息；确定所述第三特征信息的第二注意力信息；根据所述第二注意力信息，确定所述目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第四特征信息；对所述第四特征信息进行卡尔曼滤波处理，获得所述目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像进行注意力自编码处理，获得所述第一注意力信息。

在一种可能的实现方式中，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像和所述目标对象在第二时刻的位置信息进行注意力自编码处理，获得所述第一注意力信息，其中，所述第二时刻为获取到与所述第一色彩图像相邻的前一个动态视觉信息的时刻。

在一种可能的实现方式中，所述第一特征提取网络包括卷积神经网络，所述第二特征提取网络包括脉冲神经网络。

根据本公开的一方面，提供了一种图像处理装置，包括：注意力确定模块，用于确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；第一特征信息获取模块，用于将所述第一色彩图像以及所述第一注意力信息输入第一特征提取网络，获得所述第一色彩图像的第一特征信息；第二特征信息获取模块，用于将第一时间段内的第一时刻获取的所述目标对象的动态视觉信息输入第二特征提取网络，获得与所述动态视觉信息对应的第二特征信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；位置信息确定模块，用于根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，所述位置信息确定模块进一步用于：将所述第一特征信息和所述第二特征信息进行加权求和，获得第三特征信息；确定所述第三特征信息的第二注意力信息；根据所述第二注意力信息，确定所述目标对象在所述第一时刻的位置信息。