[发明专利]一种基于文本信息生成说话人视频的方法及装置

权利要求书

1.一种基于文本信息生成说话人视频的方法，其特征在于，包括：

对文本信息进行语音合成处理，生成梅尔频谱图序列；

对所述梅尔频谱图序列进行图像处理，生成与文本信息对应的面部图像；

对所述梅尔频谱图序列进行语音处理，生成与文本信息对应的语音信息；

对所述面部图像和所述语音信息进行合成处理，生成说话人视频；

其中，对所述梅尔频谱图序列进行图像处理，生成与文本信息对应的面部图像，包括：

针对所述梅尔频谱图序列中任一梅尔频谱图：对所述梅尔频谱图进行图像处理，生成预处理面部图像；

将多个所述预处理面部图像进行处理，生成与文本信息对应的面部图像；

所述对所述梅尔频谱图进行图像处理，生成预处理面部图像，包括：

对所述梅尔频谱图进行处理，得到整个面部对应的第一关键点序列，所述第一关键点序列包括多个第一关键点子序列，每个所述第一关键点子序列对应面部中指定部位；

根据所述文本信息，从数据库查询与所述文本信息对应的指定动作帧，并获取所述指定动作帧对应的第二关键点序列；所述指定动作帧用于指示面部指定部位的动作帧；

确定与所述指定动作帧对应的第一关键点子序列，并在所述第一关键点序列中利用所述第二关键点序列替换所述对应的第一关键点子序列，生成替换的第一关键点序列；

对所述替换的第一关键点序列进行模型处理，生成预处理面部图像。

2.根据权利要求1所述的方法，其特征在于，所述对文本信息进行语音合成处理，生成梅尔频谱图序列，包括：

对所述文本信息进行预处理，生成音素向量；

对所述音素向量进行语义特征提取处理，得到语义向量；

对所述语义向量进行时序特征提取处理，生成时序向量；

对所述时序向量进行解码处理，生成梅尔频谱图序列。

3.根据权利要求2所述的方法，其特征在于，所述对所述文本信息进行预处理，生成音素向量，包括：

对所述文本信息进行分词处理，得到单词；

对所述单词进行拼音处理，得到与所述单词对应的拼音；

对所述拼音进行分割处理，生成音素信息；

对所述音素信息进行编码处理，生成音素向量。

4.根据权利要求2所述的方法，其特征在于，所述对所述时序向量进行解码处理，生成梅尔频谱图序列，包括：

对所述时序向量施加特征权重，得到具有权重的特征向量；

对所述具有权重的特征向量进行解码处理，生成梅尔频谱图序列。

5.一种基于文本信息生成说话人视频的装置，其特征在于，包括：

语音合成模块，用于对文本信息进行语音合成处理，生成梅尔频谱图序列；

图像处理模块，用于对所述梅尔频谱图序列进行图像处理，生成与文本信息对应的面部图像；

语音处理模块，用于对所述梅尔频谱图序列进行语音处理，生成与文本信息对应的语音信息；

视频合成模块，用于对所述面部图像和所述语音信息进行合成处理，生成说话人视频；

其中，所述图像处理模块包括：

第一图像处理单元，用于针对所述梅尔频谱图序列中任一梅尔频谱图：对所述梅尔频谱图进行图像处理，生成预处理面部图像；

第二图像处理单元，将多个所述预处理面部图像进行处理，生成与文本信息对应的面部图像；

所述第一图像处理单元包括：

面部关键点子单元，用于对所述梅尔频谱图进行处理，得到整个面部对应的第一关键点序列，所述第一关键点序列包括多个第一关键点子序列，每个所述第一关键点子序列对应面部中指定部位；

查询子单元，用于根据所述文本信息，从数据库查询与所述文本信息对应的指定动作帧，并获取所述指定动作帧对应的第二关键点序列；所述指定动作帧用于指示面部指定部位的动作帧；

替换子单元，用于确定与所述指定动作帧对应的第一关键点子序列，并在所述第一关键点序列中利用所述第二关键点序列替换所述对应的第一关键点子序列，生成替换的第一关键点序列；

模型处理子单元，用于对所述替换的第一关键点序列进行模型处理，生成预处理面部图像。

6.根据权利要求5所述的装置，其特征在于，所述语音合成模块包括：

预处理单元，用于对所述文本信息进行预处理，生成音素向量；

语义提取单元，用于对所述音素向量进行语义特征提取处理，生成语义向量；

时序提取单元，用于对所述语义向量进行时序特征提取处理，生成时序向量；

解码单元，用于对所述时序向量进行解码处理，生成梅尔频谱图序列。