[发明专利]卷积神经网络训练方法、装置以及设备

说明书

本公开提供了一种卷积神经网络训练方法、装置以及设备，涉及人工智能技术领域，具体为计算机视觉、图像处理和深度学习等技术领域。该方法的一具体实施方式包括：获取第一样本视频帧序列；将第一样本视频帧序列输入至卷积神经网络，得到第一向量序列；将第一向量序列输入至图片掩码自注意力模型，得到第二向量序列；基于第一向量序列和第二向量序列，计算第一损失；基于第一损失对卷积神经网络和图片掩码自注意力模型的参数进行调整，得到无监督训练完成的卷积神经网络。该实施方式提供了一种基于对比学习的视频预训练方法，通过卷积神经网络和图片掩码自注意力模型相结合的方式，有效利用海量无标签视频资源，降低模型训练成本。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、图像处理和深度学习等技术领域。

背景技术

随着互联网技术的飞速发展，海量视频资源、图片资源被上传到网络中，大大增加了推荐搜索技术的难度。为了有效满足和提升不同用户的搜索体验，需要为用户提供质量较高的资源。如何对海量视频资源进行高效且准确的理解，直接影响到推荐、搜索策略的精准度，最终影响到用户的观感体验和用户的留存率。

目前，主要使用基于有监督的深度学习方式进行小批量的模型训练，从某一个纬度或者方向解决某一种视频问题。但这样，无法充分利用到海量的无标签数据内含知识，而且想要同时解决多种视频问题需要花费成倍的成本。

发明内容

本公开实施例提出了一种卷积神经网络训练方法、装置、设备、存储介质以及程序产品。

第一方面，本公开实施例提出了一种卷积神经网络训练方法，包括：获取第一样本视频帧序列；将第一样本视频帧序列输入至卷积神经网络，得到第一向量序列；将第一向量序列输入至图片掩码自注意力模型，得到第二向量序列；基于第一向量序列和第二向量序列，计算第一损失；基于第一损失对卷积神经网络和图片掩码自注意力模型的参数进行调整，得到无监督训练完成的卷积神经网络。

第二方面，本公开实施例提出了一种视频分类方法，包括：获取待分类视频；从待分类视频中提取待分类视频帧序列；将待分类视频帧序列输入至视频分类模型，得到待分类视频的类别，其中，视频分类模型是利用第一方面所述的方法训练得到的。

第三方面，本公开实施例提出了一种卷积神经网络训练装置，包括：第一获取模块，被配置成获取第一样本视频帧序列；第一输入模块，被配置成将第一样本视频帧序列输入至卷积神经网络，得到第一向量序列；第二输入模块，被配置成将第一向量序列输入至图片掩码自注意力模型，得到第二向量序列；第一计算模块，被配置成基于第一向量序列和第二向量序列，计算第一损失；第一调整模块，被配置成基于第一损失对卷积神经网络和图片掩码自注意力模型的参数进行调整，得到无监督训练完成的卷积神经网络。

第四方面，本公开实施例提出了一种视频分类装置，包括：获取模块，被配置成获取待分类视频；提取模块，被配置成从待分类视频中提取待分类视频帧序列；分类模块，被配置成将待分类视频帧序列输入至视频分类模型，得到待分类视频的类别，其中，视频分类模型是利用第三方面所述的装置训练得到的。

第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面中任一实现方式描述的方法。

第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面中任一实现方式描述的方法。

第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。