[发明专利]一种视频分类问题的样本提取方法及装置

说明书

本发明公开了一种视频分类问题的样本提取方法及装置，涉及视频分类技术领域，优化从视频数据中提取样本的方法，以确保样本能够涵盖视频数据的整个内容信息，同时避免样本中存在冗余图像数据，以增强样本质量，也有助于提高视频分类模型的训练质量，本发明的主要技术方案为：获取视频数据；对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。本发明应用于从视频数据中提取用于训练视频分类模型的样本。

技术领域

本发明涉及视频分类技术领域，尤其涉及一种视频分类问题的样本提取方法及装置。

背景技术

随着基于图形处理器深度学习的崛起，视频分类也变得更容易实现，当今的视频分类通常就是指基于深度学习的视频分类。视频分类依赖于庞大的数据集，如果想实现通用领域的视频分类，那么几万甚至几十万的数据库对于训练视频分类模型也未必够用。所以现有主要是训练应用于细分领域的基于深度学习的视频分类模型，由于这可以将视频分类仅聚焦于某个特定场景，所以可以相对容易地收集充分的用于训练的视频数据，比如：从动作识别库，手势识别库等视频库中收集符合特定场景的视频数据。

目前，通常是将一个视频分解成连续的视频帧并从中截取出指定数目的连续视频帧作为样本，以收集大量这样的样本作为训练数据，用于训练基于深度学习的视频分类模型。然而，由于上述样本相当于是一个视频的片段，很可能出现该片段不能充分涵盖整个视频的内容信息的情况，因而当收集到大量视频数据对应的样本时，样本的质量也是良莠不齐的，这也不利于模型的训练。

发明内容

有鉴于此，本发明提供一种视频分类问题的样本提取方法及装置，主要目的在于优化从视频数据中提取样本的方法，以确保样本能够涵盖视频数据的整个内容信息，同时避免样本中存在冗余图像数据，以增强样本质量，也有助于提高视频分类模型的训练质量。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种视频分类问题的样本提取方法，该方法包括：

获取视频数据；

对所述视频数据进行解析，得到所述视频数据对应的连续的多个单帧图像；

从所述连续的多个单帧图像中提取特征图像组成样本，所述特征图像用于概括所述视频数据的内容信息，所述样本中不包含冗余图像数据。

可选的，所述方法还包括：

按照所述特征图像在时间轴上对应的光流信息，将所述特征图像按照时间先后顺序排列；

根据所述特征图像的排列顺序，生成所述样本对应的光流图像；

将所述光流图像添加至训练样本；和/或，

将所述特征图像添加至训练样本。

可选的，所述从所述连续的多个单帧图像中提取特征图像组成样本，包括：

将所述视频数据对应的连续的多个单帧图像平均分成多个图像组，所述图像组包含按照时间先后顺序排列的连续的多个单帧图像；

通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像；

提取每个所述图像组对应的特征图像组成样本。

可选的，所述通过比对所述图像组内的单帧图像互相之间的结构相似性，确定所述图像组对应的特征图像，包括：

在所述图像组内选取任意一个单帧图像作为标杆图像；