[发明专利]基于双重空间扭曲的航空发动机损伤视频检测方法

说明书

一种基于双重空间扭曲的航空发动机损伤视频检测方法，步骤包括：步骤1，确定孔探视频中的关键帧；若当前帧为关键帧，则执行步骤2，若当前帧为非关键帧，则执行步骤3；步骤2，提取当前视频帧的多尺度语义特征图；步骤3，通过计算当前帧与其前一帧之间的光流场，得到扭曲语义特征图；若当前帧为关键帧的下一帧，则执行步骤5，否则执行步骤4；步骤4，通过计算关键帧到当前帧之间连续帧对的扭曲光流场得到当前帧的扭曲语义特征图；步骤5，对步骤2得到的多尺度语义特征图以及步骤3或步骤4得到的扭曲语义特征图进行特征解码，得到当前帧的语义分割图。本发明的方法将双流场用于扭曲关键帧特征，可以解决孔探视频中快速移动对象的扭曲误差。

技术领域

本发明属于计算机视觉领域，特别是涉及关键帧空间特征扭曲的视频语义分割方法，是一种在航空发动机孔探技术的应用场景中快速检测损伤的新视频语义分割方法。

背景技术

语义分割技术可生成像素级别的损伤预测图像，换句话说，每个像素被分类为损伤或非损伤。由损伤分割产生的精确的损伤位置和结构既可以用来对损伤类型进行分类，也可以用来获取重要的损伤特征。应用于孔探视频领域时，由于图像语义分割网络结构复杂，采用逐帧分析的方式进行语义分割预测会导致庞大的计算量，无法满足检测的实时性。

近年来，随着语义分割技术在图像识别领域取得了巨大成就，视频语义分割逐渐成为研究的方向。Deep Feature Flow于2015年首次提出利用连续视频帧之间的相似性，通过关键帧与当前帧之间的光流场进行空间扭曲，将稀疏关键帧的分割结果传播给非关键帧，从而降低网络的计算量，与逐帧分析相比显著地提升了视频语义分割的运行速率。

然而，针对快速移动的对象来说，这种方法就不是很适合。这是因为，关键帧与当前帧之间存在一定间隔，快速移动的对象在内容上会发生很大的变化，而单一空间扭曲的方法易遗漏其包含的语义信息，产生较大的扭曲误差。

在实际航空发动机孔探技术的应用中，发动机内部结构复杂，并且孔探拍摄角度变化大，导致损伤的出现时间短、移动速度快以及特征变化明显，因此单一空间扭曲并不适合实际孔探技术。

发明内容

为了解决上述问题，本发明提供一种基于双重空间扭曲的航空发动机损伤视频检测方法，该方法精度高，处理速度快，更适合快速移动的对象，为达此目的，本发明采用的技术方案如下：

步骤1，以固定时间间隔方式选择孔探视频中的关键帧；若当前帧为关键帧，则执行步骤2，若当前帧为非关键帧，则执行步骤3；

步骤2，提取当前视频帧的多尺度语义特征图；

步骤3，通过计算当前帧与其前一帧之间的光流场，得到扭曲语义特征图；若当前帧为关键帧的下一帧，则执行步骤5，否则执行步骤4；

步骤4，通过计算关键帧到当前帧之间连续帧对的扭曲光流场得到当前帧的扭曲语义特征图；

步骤5，对步骤2得到的多尺度语义特征图和步骤3或步骤4得到的扭曲语义特征图进行特征解码，得到当前帧的语义分割图。

进一步地，步骤1包括如下子步骤：

步骤1.1，从孔探视频中选取第一个视频帧作为第一个关键帧；

步骤1.2，采用固定时间间隔的方式依次选取新的关键帧，其余视频帧为非关键帧。

进一步地，步骤2包括如下子步骤：

步骤2.1，采用特征编码模块提取关键帧图像的语义特征图；

步骤2.2，将步骤2.1得到的语义特征图送入密集空洞卷积模块，得到高层语义特征图。

步骤2.3，将步骤2.2得到的高层语义特征图送入残差多核池化模块，得到多尺度语义特征图。