[发明专利]一种视频节目自动生成互动问答的方法及装置

权利要求书

1.一种视频节目自动生成互动问答的方法，其特征在于，包括如下步骤：

从播放的视频节目中提取视频台词文字，对视频台词文字进行自然语言处理，从中提取疑问句及其对应的答案；

将选择的疑问句转化为引导语音；

检索并选定答案文字所在的画面帧和非答案文字所在的随机画面帧，对选定的答案文字所在的画面帧和非答案文字所在的随机画面帧进行图像预处理，得到答案图片和非答案图片；

根据答案图片和非答案图片制作通用引导动画，视频节目结束后，播放通用引导动画和引导语音。

2.如权利要求1所述的视频节目自动生成互动问答的方法，其特征在于，从视频节目中提取视频台词文字，具体包括如下子步骤：

从视频节目中截取每帧视频彩色图像，对每帧视频彩色图像均执行如下处理：

将视频彩色图像转换为灰色图像，并对灰色图像进行降维处理；

对降维后的灰色图像进行小波分解和角点检测，得到小波图像和角点特征图像，结合小波图像和角点特征图像的特征统计，筛选文字区域；

从文字区域中提取视频台词文字，整合成txt文本。

3.如权利要求2所述的视频节目自动生成互动问答的方法，其特征在于，从文字区域中提取视频台词文字，具体为：对文字区域运用OTSU算法获得阈值并作二值化处理，再合并经二值化处理后得到的图像，仅保留文字像素的交集，即候选文字像素区域，将候选文字像素区域的灰度值利用聚类算法进行分类，按照文字像素为1，边缘及干扰像素为0，得到最终提取的视频台词文字。

4.如权利要求1所述的视频节目自动生成互动问答的方法，其特征在于，对视频台词文字进行自然语言处理，从中提取疑问句及其对应的答案，具体包括：将非结构化文本转换为结构化数据，然后应用自然语言处理技术从结构化数据中提取疑问句和对应的答案，若包括多个疑问句且都有答案，则选择频率最高的疑问句，若频率相等，则随机选取一个疑问句，若结构化数据中没有疑问句，则随机选择一句陈述句，将其转化为疑问句，并为其匹配答案。

5.如权利要求1所述的视频节目自动生成互动问答的方法，其特征在于，将选择的疑问句转化为引导语音，具体包括如下子步骤：

从大量预选汉字语句中获取汉字向量，分别将汉字向量输入语音合成模型中进行训练；

对汉字向量进行编码，得到语言编码特征，利用语言编码特征解码技术对语言编码特征进行解码，获得语言学解码特征；

根据预设的参照语音学解码特征调整语音合成模型中的模型参数，直至语言学解码特征满足语言学解码特征损失阈值，得到语音合成模块训练后的编码模块；

将选择好的疑问句输入训练好的语音合成模型中，利用其中的编码模块将疑问句转换为引导语音。

6.一种视频节目自动生成互动问答的装置，其特征在于，包括：

视频台词文字提取模块，用于从播放的视频节目中提取视频台词文字，

互动问答题目提取模块，用于对视频台词文字进行自然语言处理，从中提取疑问句及其对应的答案；

语音转换模块，用于将选择的疑问句转化为引导语音并存储；

答案画面帧选定模块，用于检索并选定答案文字所在的画面帧和非答案文字所在的随机画面帧，对选定的答案文字所在的画面帧和非答案文字所在的随机画面帧进行图像预处理，得到答案图片和非答案图片并存储；

互动问答画面制作模块，用于根据答案图片和非答案图片制作通用引导动画；

互动问答环节播放模块，用于在视频节目结束后，播放通用引导动画和存储的引导语音。

7.如权利要求6所述的视频节目自动生成互动问答的装置，其特征在于，所述视频台词文字提取模块，具体用于从视频节目中截取每帧视频彩色图像，将视频彩色图像转换为灰色图像，并对灰色图像进行降维处理；对降维后的灰色图像进行小波分解和角点检测，得到小波图像和角点特征图像，结合小波图像和角点特征图像的特征统计，筛选文字区域；从文字区域中提取视频台词文字，整合成txt文本。