[发明专利]语音驱动唇形动画的方法

摘要

本发明公开了一种语音驱动唇形动画的方法，其特征在于，包括以下步骤：将汉语中的音节结构采用Consonant-Vowel分类；采集若干个人的原始音频数据和视频数据；获取对应唇形信息；获取语音特征数据；对所获取的唇形信息和语音特征数据进行训练和建模，依据训练的模型实时输入语音合成的唇形运动序列。该方法克服了现有技术的缺陷，并且运算数据量小，可操做性强等特点。

主权项

一种语音驱动唇形动画的方法，其特征在于，包括以下步骤：步骤一将汉语中的音节结构采用Consonant-Vowel分类：声母包括b、p、m、f、d、t、n、l、g、k、h、j、q、x、zh、ch、sh、r、z、c、s和零声母，韵母包括a、ai、an、ang、ao、e、ei、en、eng、er、o、ong、ou、i、il、i2、ia、ian、iang、iao、ie、in、ng、iong、iou、u、ua、uai、uan、uang、uei、uen、ueng、uo、v、van、ve、vn、io；步骤二采集若干个人的原始音频数据和视频数据：每个人读声母和韵母单词，同时使用DV或者摄像机拍摄，以获取音频流和视频流数据；步骤三获取对应唇形信息：把视频流分割成一帧帧图片，找出声母与韵母所对应的图片帧，使用ASM算法对正面的人脸图片进行检测，获取声母和韵母所对应的唇形信息；步骤四获取语音特征数据：对音频流进行分析处理，提取语音特征数据；步骤五对步骤三所获取的唇形信息和步骤四所获取的语音特征数据进行训练和建模，依据训练的模型合成实时输入语音的唇形运动序列：将通过ASM算法检测正面的人脸图片片获得唇形信息进行分类和聚类分析处理，消除在采样唇形数据时因每个人嘴唇大小不同而产生的误差，把不同人的唇形形状归一化，把每一帧唇形图片上的二维坐标转化为高维空间上的点，将每个点合成一列高维向量，每一个向量代表一帧唇形图片信息，对所有向量进行分类与聚类分析处理，并划分到N个基本唇形类别中，利用语音帧和唇形帧在时间上序列上的一一对应关系，将对应的语音帧也进行聚类划分成N个类别，其中N的取值通过观察唇形样本状态取值，将已经归类的语音帧和唇形帧的每一个类别建立BP网络模型，共建N个BP网络模型，分别训练N个BP网络模型中各个节点的连接权值和阀值，经过BP网络模型处理，把每个实时语音帧归类，以此类推，可得到与语音特征数据所对应的唇形帧序列，唇形帧序列经过平滑处理，就形成平滑与自然的唇形运动序列。