[发明专利]基于风格迁移与语音识别的视频自动生成连环画的方法

摘要

本发明公开了一种基于风格迁移与语音识别的视频自动生成连环画的方法，根据输入的视频提取关键帧并进行筛选，得到可以描述完整视频内容的关键帧后；使用深度学习风格迁移模型将关键帧图像迁移为漫画风格，并使用语音识别模型分析视频中的音频流实现自动化台词生成，最终按照用户指定要求进行连环画生成。本发明在关键帧提取部分引入视频编解码中的相关技术，增大关键帧提取粒度，提高处理速度；同时处理图像和音频，在保留图像主体内容的同时，能够实现台词的匹配与插入；支持多样化的漫画纹理风格以及连环画生成阶段可以自动定位台词与画面的关系。