[发明专利]视频与字幕的匹配方法和装置

权利要求书

1.一种视频与字幕匹配方法，其特征在于，包括：

获取待匹配的视频片段和待匹配的一个或多个字幕文件；

从所获取的视频片段中提取出各个语音片段的关联语音时间信息以及从所述待匹配的一个或多个字幕文件中提取出字幕时间信息；

分别基于相同的规则，根据所提取的关联语音时间信息以及字幕时间信息生成所述视频片段的视频特征向量以及所述一个或多个字幕文件的字幕特征向量；

基于所生成的视频特征向量和字幕特征向量，确定与所述视频片段匹配的字幕文件。

2.根据权利要求1所述的方法，其特征在于，从所获取的视频片段中提取出各个语音片段的关联语音时间信息包括：

从所获取的视频片段中提取出音频数据；

对所提取出的音频数据进行频谱分析，将符合语音频谱特性的音频数据作为语音数据；

基于所得到的语音数据，获取各个语音片段及对应的关联语音时间信息。

3.根据权利要求1或2所述的方法，其特征在于，所述关联语音时间信息是各个相邻语音片段之间的时间间隔信息，所述字幕时间信息是各个相邻字幕片段之间的时间间隔信息，以及

所述分别基于相同的规则，根据所提取的关联语音时间信息以及字幕时间信息生成所述视频片段的视频特征向量以及所述一个或多个字幕文件的字幕特征向量包括：

分别基于相同的规则，根据各个相邻语音片段之间的时间间隔信息生成视 频片段的视频特征向量，以及根据各个相邻字幕片段之间的时间间隔信息，生成所述一个或多个字幕文件的字幕特征向量。

4.根据权利要求1或2所述的方法，其特征在于，所述关联语音时间信息是各个语音片段的时长信息，所述字幕时间信息是各个字幕片段的时长信息，以及

所述分别基于相同的规则，根据所提取的关联语音时间信息以及字幕时间信息生成所述视频片段的视频特征向量以及所述一个或多个字幕文件的字幕特征向量包括：

分别基于相同的规则，根据各个语音片段的时长信息生成视频片段的视频特征向量，以及根据各个字幕片段的时长信息生成所述一个或多个字幕文件的字幕特征向量。

5.根据权利要求1-4任一所述的方法，其特征在于，基于所生成的视频特征向量和字幕特征向量，确定与所述视频片段匹配的字幕文件包括：

计算所生成的视频特征向量和字幕特征向量之间的空间相似度；以及

根据所计算出的空间相似度，确定与所述视频片段对应的目标字幕文件。

6.一种视频与字幕匹配装置，其特征在于，包括：

获取单元，用于获取待匹配的视频片段和待匹配的一个或多个字幕文件；

视频特征提取单元，用于从所获取的视频片段中提取出各个语音片段的关联语音时间信息；

字幕特征提取单元，用于从所述待匹配的一个或多个字幕文件中提取出字幕时间信息；

特征向量生成单元，用于分别基于相同的规则，根据所提取的关联语音时 间信息以及字幕时间信息生成所述视频片段的视频特征向量以及所述一个或多个字幕文件的字幕特征向量；

确定单元，用于基于所生成的视频特征向量和字幕特征向量，确定与所述视频片段匹配的字幕文件。

7.根据权利要求6所述的装置，其特征在于，视频特征提取单元包括：

音频数据提取模块，用于从所获取的视频片段中提取出音频数据；

语音数据获取模块，用于对所提取出的音频数据进行频谱分析，将符合语音频谱特性的音频数据作为语音数据；

关联语音时间信息获取模块，用于基于所得到的语音数据，获取各个语音片段及对应的关联语音时间信息。

8.根据权利要求6或7所述的装置，其特征在于，所述关联语音时间信息是各个相邻语音片段之间的时间间隔信息，所述字幕时间信息是各个相邻字幕片段之间的时间间隔信息，以及

所述特征向量生成单元用于分别基于相同的规则，根据各个相邻语音片段之间的时间间隔信息生成视频片段的视频特征向量，以及根据各个相邻字幕片段之间的时间间隔信息，生成所述一个或多个字幕文件的字幕特征向量。