[发明专利]结合弹幕理解和视频内容理解的精彩片段提取方法及系统

权利要求书

1.结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，所述方法包括：

获取视频数据，并获取该视频数据对应的弹幕信息流，所述弹幕信息流包括时间轴数据和弹幕内容数据；

对视频数据进行内容识别，得到内容识别结果，所述内容识别结果包含至少一个视频片段；

根据时间轴数据节选出与视频片段对应的弹幕流片段；

对弹幕流片段进行分析，得到分析结果；

根据分析结果筛选视频片段，得到精彩片段；

所述获取该视频数据对应的弹幕信息流的步骤，具体包括：

从视频数据中随机截取至少一帧视频画面，得到视频检索源图像；

根据视频检索源图像在搜索引擎上进行搜索，得到视频搜索结果，所述视频搜索结果包括相应的视频链接；

根据视频搜索结果中的视频链接，生成访问路径表；

根据访问路径表逐个访问相应的视频链接，并获取对应的弹幕信息流。

2.根据权利要求1所述的结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，所述对视频数据进行内容识别的步骤，具体包括：

建立训练数据库和ResNet模型，所述训练数据库中预存有训练图像集、检测图像集和人工描述信息；

利用训练图像集及其对应的人工描述信息对ResNet模型进行训练；

利用检测图像集和人工描述信息对ResNet模型的训练结果进行检测验证；

利用训练好的ResNet模型对视频数据进行内容识别。

3.根据权利要求1所述的结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，所述对弹幕流片段进行分析，得到分析结果的步骤，具体包括：

按预设时间步长对弹幕流片段进行分段，得到碎片弹幕流；

识别碎片弹幕流中的包含的文字信息以及弹幕数量，得到弹幕内容分析表；

根据弹幕内容分析表生成分析结果。

4.根据权利要求1所述的结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，所述根据分析结果筛选视频片段，得到精彩片段的步骤，具体包括：

根据分析结果中弹幕的文字信息类型对各视频片段进行分类，得到分类片段；

根据分析结果中的弹幕数量对分类片段进行排序；

并按照排序选取预设数量的分类片段作为精彩片段。

5.根据权利要求4所述的结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，所述弹幕数量需要根据每条弹幕的点赞数量按照预设比例放大。

6.根据权利要求3所述的结合弹幕理解和视频内容理解的精彩片段提取方法，其特征在于，在每一个时间步长内，至少包含一条弹幕。

7.结合弹幕理解和视频内容理解的精彩片段提取系统，其特征在于，所述系统包括：

数据获取模块，用于获取视频数据，并获取该视频数据对应的弹幕信息流，所述弹幕信息流包括时间轴数据和弹幕内容数据；

内容识别模块，用于对视频数据进行内容识别，得到内容识别结果，所述内容识别结果包含至少一个视频片段；

弹幕分割模块，用于根据时间轴数据节选出与视频片段对应的弹幕流片段；

弹幕分析模块，用于对弹幕流片段进行分析，得到分析结果；

片段生成模块，用于根据分析结果筛选视频片段，得到精彩片段；

所述数据获取模块包括：

图像提取单元，用于从视频数据中随机截取至少一帧视频画面，得到视频检索源图像；

视频检索单元，用于根据视频检索源图像在搜索引擎上进行搜索，得到视频搜索结果，所述视频搜索结果包括相应的视频链接；

路径生成单元，用于根据视频搜索结果中的视频链接，生成访问路径表；

弹幕提取单元，用于根据访问路径表逐个访问相应的视频链接，并获取对应的弹幕信息流。

8.根据权利要求7所述的结合弹幕理解和视频内容理解的精彩片段提取系统，其特征在于，所述内容识别模块包括：

模型建立单元，用于建立训练数据库和ResNet模型，所述训练数据库中预存有训练图像集、检测图像集和人工描述信息；

模型训练单元，用于利用训练图像集及其对应的人工描述信息对ResNet模型进行训练；

模型验证单元，用于利用检测图像集和人工描述信息对ResNet模型的训练结果进行检测验证；

模型识别单元，用于利用训练好的ResNet模型对视频数据进行内容识别。