[发明专利]基于语音迁移学习的亲子故事个性化音频生成系统及方法

权利要求书

1.一种基于语音迁移学习的亲子故事个性化音频生成系统，其特征在于，包含以下模块：

音频上传模块，用于将用户记录下的给孩子讲故事时的音频数据，通过客户端上传至服务器；其中，上传的音频数据分别对应带有相应的用户标识；

数据存储模块，用于根据所述用户标识，存储所述音频数据至对应所述用户标识的语音数据库中；

数据处理模块，用于将所述语音数据库中存储的音频数据处理，成模型训练所需的音频数据输入和对应的文本输入数据；

迁移训练模块，用于将所述数据处理模块处理后的音频数据，作为训练数据，通过迁移学习，训练构建出能够克隆出用户个性化声音的迁移模型；

声音合成模块，用于将亲子故事\教学内容输入至所述迁移模型中，通过所述迁移模型合成基于用户个性化声音的故事\教学音频。

2.根据权利要求1所述的系统，其特征在于，所述音频上传模块，包括：

匹配子模块，用于将用户输入用户名和密码与指定信息相匹配；

上传子模块，用于当所述用户输入用户名和密码与指定信息相匹配之后，将用户在客户端输入的音频数据分别对应标记相应的用户标识后上传至服务器。

3.根据权利要求2所述的系统，其特征在于，所述数据存储模块，包括：

查询子模块，用于根据所述用户标识，在音频数据库中查询所述用户标识对应的数据表；

存储子模块，用于将上传的音频数据存储至其对应的用户标识对应的数据表中。

4.根据权利要求3所述的系统，其特征在于，所述数据处理模块，包括：

下载子模块，用于将用户的音频数据从音频数据库下载；

预处理子模块，用于将从音频数据库下载的用户的音频数据进行预处理，所述预处理包括：降噪、语音增强、音频采样、分句处理、音频转化文字处理。

5.根据权利要求4所述的系统，其特征在于，所述迁移训练模块，包括：

第一输入子模块，用于将经过所述预处理的音频数据作为训练数据，输入到训练模型中；

训练子模块，通过迁移学习，训练构建出能够克隆出用户声音的迁移模型。

6.根据权利要求5所述的系统，其特征在于，所述声音合成模块，包括：

第二输入子模块，用于将亲子故事\教学的内容输入至所述迁移模型中；

处理子模块，用于通过所述迁移模型对输入的所述亲子故事的文本或语音进行处理；

输出子模块，用于输出通过所述处理子模块处理后的基于用户个性化声音的故事\教学音频。

7.根据权利要求6所述的系统，其特征在于，还包括：

定时播放子模块，用于根据指定时间定时播放所述输出子模块输出的故事\教学音频。

8.一种基于语音迁移学习的亲子故事个性化音频生成方法，基于权利要求1-7任一项所述的系统，其特征在于，包含以下处理步骤：

A、音频上传，包括：将用户记录下的给孩子讲故事时的音频数据，通过客户端上传至服务器；其中，上传的音频数据分别对应带有相应的用户标识；

B、数据存储，包括：根据所述用户标识，存储所述音频数据至对应所述用户标识的语音数据库中；

C、数据处理，包括：将所述语音数据库中存储的音频数据处理，成模型训练所需的音频数据输入和对应的文本输入数据；

D、迁移训练，包括：将所述数据处理模块处理后的音频数据，作为训练数据，通过迁移学习，训练构建出能够克隆出用户个性化声音的迁移模型；

E、声音合成，包括：将亲子故事\教学内容输入至所述迁移模型中，通过所述迁移模型合成基于用户个性化声音的故事\教学音频。

9.根据权利要求8所述的方法，其特征在于，所述步骤E，之后还包括：

F、定时播放，包括：根据指定时间定时播放所述基于用户个性化声音的故事\教学音频。