[发明专利]一种基于生成对抗网络的视频内容理解方法及装置

权利要求书

1.一种基于生成对抗网络的视频内容理解方法，包括：

采用GAN模型对源域数据进行处理，以得到与目标域数据贴近的新源域数据；

采用新源域数据作为训练数据对ResNet模型进行预训练；

将目标域数据作为训练完成后的ResNet模型的输入，微调ResNet模型的参数，使其能够学习目标域数据特征并适应于目标域数据；

将微调后形成的目标域数据的图像向量特征作为LSTM的输入，生成与视频图像特征相关的描述语句，完成对视频内容的理解。

2.根据权利要求1所述的方法，其特征在于，采用CNN模型作为所述GAN模型中生成器的编码器。

3.根据权利要求2所述的方法，其特征在于，采用ReLU作为所述编码器的激活函数。

4.一种基于生成对抗网络的视频内容理解装置，包括：

域间差距降低模块，其配置成采用GAN模型对源域数据进行处理，以得到与目标域数据贴近的新源域数据；

训练模块，其配置成采用新源域数据作为训练数据对ResNet模型进行预训练；

参数调节模块，其配置成将目标域数据作为训练完成后的ResNet模型的输入，微调ResNet模型的参数，使其能够学习目标域数据特征并适应于目标域数据；和

描述语句生成模块：其配置成将微调后形成的目标域数据的图像向量特征作为LSTM的输入，生成与视频图像特征相关的描述语句，完成对视频内容的理解。

5.根据权利要求4所述的装置，其特征在于，所述的域间差距降低模块中，采用CNN模型作为所述GAN模型中生成器的编码器。

6.根据权利要求4所述的装置，其特征在于，采用ReLU作为所述编码器的激活函数。

7.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法。

8.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1-3中任一项所述的方法。

9.一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行权利要求1-3中任一项所述的方法。