[发明专利]一种基于机器学习的短视频打标签方法

说明书

本发明公开了一种基于机器学习的短视频打标签方法，获取待分类短视频，通过卷积网络分类模型提取该待分类短视频的关键帧；利用文本生成模型处理提取的关键帧，生成若干与待分类短视频标签关联性强的文本，生成的一个或多个图片描述文本和图片标签文本进行组合，通过文本分类模型进行文本分类，根据文本分类的结果对目标待分类短视频打上相应的视频标签。本发明普适性更强的，尤其对时间信息对视频标签作用不大的视频效果更优的，适合非大数据场景下的，短视频打标签框架。可以快速且有效的实现对短视频打上对应的标签，优点是无需大量的训练样本数据，实现及训练简单，从而节省一定的人力物力，来为短视频平台的其他功能服务。

技术领域

本发明涉及计算机数据处理技术领域，特别是一种基于机器学习的短视频打标签方法。

背景技术

目前各大短视频平台的快速发展，如何为短视频自动化的打上标签，来更好地为短视频平台服务是一个很重要且具有挑战性的问题。现有的短视频分类或者打标签技术主要是直接通过基于卷积网络分类模型(CNN)及递归神经网络(RNN)的算法对视频进行学习训练，这种方法需要的视频样本数据规模大，费时费力，并且由于视频标签的多样性及主观性，很容易造成模型训练困难，很难达到实际业务的需求。

发明内容

本发明针对上述问题，提供一种具有广泛适用性的基于机器学习的短视频打标签方法。

本发明的技术方案为：

一种基于机器学习的短视频打标签方法，包括以下步骤：

步骤1)：获取待分类短视频，通过卷积网络分类模型提取该待分类短视频的关键帧；

步骤2)：利用文本生成模型处理步骤1)中提取的关键帧，生成若干与待分类短视频标签关联性强的文本；

步骤3)：将步骤2)中生成的一个或多个文本进行组合，通过文本分类模型进行文本分类，根据文本分类的结果对目标待分类短视频打上相应的视频标签。

作为本发明进一步地说明，所述步骤1)中包含训练所述卷积网络分类模型的步骤，根据训练的不同，所述卷积网络分类模型提取待分类短视频的关键帧不同。

更进一步地，步骤2)中所述文本生成模型为预训练模型或微调模型。

更进一步地，步骤2)中所述文本生成模型为开源模型、软件工具或api接口。

更进一步地，步骤2)中所述文本包括图片描述文本和图片标签文本中的一种或两种。

更进一步地，步骤3)所述文本分类模型为朴素贝叶斯分类模型或随机森林分类模型。

更进一步地，所述步骤3)中包含训练所述文本分类模型的步骤。

更进一步地，训练所述卷积网络分类模型时还包括数据增强步骤，对用于训练的图片进行随机平移或翻转操作形成新的图片并用于训练；训练所述文本分类模型时还包括文本数据增强步骤，对用于训练的文本进行同义词替换和插入形成新的文本并用于训练，不但可以增加训练的数据，提高模型的泛华能力，还可以增加噪声数据，提升模型的鲁棒性。

更进一步地，所述基于机器学习的短视频打标签方法用于美食类短视频打标签。

更进一步地，所述卷积网络分类模型提取的关键帧为该待分类短视频中包含食物的图片，所述文本生成模型包括百度美食识别api，由所述百度美食识别api识别所述图片中的食物名称，形成相应的图片标签文本。

本发明的有益效果：

本发明基于机器学习的短视频打标签方法普适性更强的，尤其对时间信息对视频标签作用不大的视频效果更优的，适合非大数据场景下的，短视频打标签框架。可以快速且有效的实现对短视频打上对应的标签，优点是无需大量的训练样本数据，实现及训练简单，从而节省一定的人力物力，来为短视频平台的其他功能服务。