[发明专利]一种语音情感迁移方法

说明书

技术领域

本发明属于语音识别技术领域，涉及语音情感的迁移方法，具体涉及一种基于不同语音提供者模型的语音情感的迁移方法。

背景技术

随着智能芯片技术的发展，各种终端设备的智能化和集成化程度越来越高，设备的小型化、轻便化、网络化使得人们的生活越来越便捷。用户不断的通过网络终端进行语音视频的交流，积累了海量的多媒体数据。随着平台数据的积累，智能问答系统也逐渐应运而生。这些智能问答系统包括了语音识别、性感分析、信息检索、语义匹配、句子生成、语音合成等先端技术。

语音识别技术是让机器通过识别技术和理解过程把语音信号转化为所对应的文本信息或者机器指令，让机器能够听懂人类的表达内容，主要包括语音单元选取、语音特征提取、模式匹配和模型训练等技术。语音单元包括单词(句)、音节和音速三种，具体按照场景和任务来选择。单词单元主要适合小词汇语音识别系统；音节单元更加适合于汉语语音识别；音素虽然能够很好地解释语音基本成分，但由于发音者的复杂多变导致无法得到稳定的数据集，目前仍在研究中。

另一个研究方向是语音的情感识别，主要由语音信号采集、情感特征提取和情感识别组成。其中情感特征提取主要有韵律学特征、基于谱的相关特征和音质特征三种。这些特征一般以帧为最小粒度来实现提取，并以全局特征统计值的形式进行情感识别。在情感识别算法方面，主要包括离散语言情感分类器和维度语音情感预测器两大类。语音情感识别技术也被广泛应用于电话服务中心、驾驶员精神判别、远程网络课程等领域。

智能体被誉为是下一代人工智能的综合产物，不仅能够识别周围环境因素，理解人的行为表达和语言描述，甚至在与人的交流过程中，更需要去理解人的情感，并且能够实现模仿人的情感表达，才能实现更为柔和的交互。目前智能体的情感研究主要集中在基于虚拟图像处理，涉及计算机图形学、心理学、认知学、神经生理学、人工智能等多个领域有研究者的成果。据研究，人虽然90％以上的环境感知信息来自视觉，但是绝大部分的情感感知是来自语音。如何从语音领域建立类人智能体的情感体系，至今尚未有公开的研究发布。

发明内容

本发明的目的是以机器学习方法为主要手段，提出一种人的语音情感表述方法，并在此基础上使用深度学习和卷积网络算法，从系统上实现语音情感的迁移。不仅对语音识别、情感分析提供了一定的借鉴方法，更能在未来类人智能体上得到广泛应用。

为实现上述目的，本发明提出的技术方案为一种语音情感迁移方法，具体包含以下步骤：

步骤1、准备一个语音数据库，通过标准采样生成语音情感数据集S＝{s₁,s₂,…,s_n}；

步骤2、采用人工方式对步骤1的语音数据库打标签，标注每个语音文件的情感E＝{e₁,e₂,…,e_n}；

步骤3、采用语音特征参数模型对语音库中的每个音频文件s_i进行音频特征抽取，得到基本的语音特征集F_i＝{f₁ⁱ,f₂ⁱ,…,f_nⁱ}；

步骤4、采用机器学习工具对步骤3得到的每个语音特征集与步骤2得到的语音情感标签进行机器学习，得到每一类语音情感的特征模型，构建情感模型库E_b；

步骤5、通过一个多媒体终端，选择需要语音情感迁移的目标Target；

步骤6、从多媒体终端输入语音信号s_t；

步骤7、将当前输入的s_t输入到语音情感特征提取模块，得到当前语音信号的特征集F_t＝{f₁^t,f₂^t,…,f_n^t}；

步骤8、采用与步骤4相同的机器学习算法，将步骤7得到的s_t的语音特征集F_t结合步骤步骤4得到的情感模型库E_b进行情感分类，得到s_t的当前情感类别s_e；