[发明专利]表情推荐方法及装置

说明书

本申请涉及电子技术领域，尤其涉及一种表情推荐方法及装置，该方法包括：获取输入数据，该输入数据包括用户的第一语音数据和第一语音数据对应的第一图像数据，将第一图像数据和第一语音数据输入表情生成模型，得到输出结果，该输出结果包括至少一个表情，进而向所述用户推荐该至少一个表情，本申请提供的技术方案同时利用用户的语音数据和图像数据生成表情，使得生成的表情更多样且具有个性化，从而可以向用户推荐多样且具有个性化的表情。

技术领域

本申请涉及电子技术领域，尤其涉及一种表情推荐方法及装置。

背景技术

随着移动互联网的发展，智能终端已成为人们生活中不可或缺的智能设备。作为智能终端的人口，输入法是使用频率最高的应用之一。语音识别技术的持续发展，使得语音输入法成为输入方式的主流。人们在聊天时，除了输入语音或者文字，还喜欢配上表情，使得输入和聊天变得更加生动有趣。但是，表情选择往往需要多步操作，用户翻找也比较麻烦。

目前的输入法表情推荐方案，通常是预先对表情库里面的表情打上标签，然后根据输入的文字与标签做匹配，根据匹配度为用户推荐表情。由于只利用的文本信息，且依赖于表情库，推荐的表情也仅限于表情库中的表情，缺乏多样性和个性化。

发明内容

本申请实施例提供一种表情推荐方法及装置，能够基于表情生成模型向用户推荐多样且具有个性化的表情。

第一方面，本申请实施例提供一种表情推荐方法，所述方法包括：

获取输入数据，所述输入数据包括用户的第一语音数据和所述第一语音数据对应的第一图像数据；

将所述第一图像数据和所述第一语音数据输入表情生成模型，得到输出结果，所述输出结果包括至少一个表情；

向所述用户推荐所述至少一个表情。

可选的，所述表情生成模型包括语音识别模型和生成模型；

所述将所述第一图像数据和所述第一语音数据输入表情生成模型，得到输出结果，包括：

将从所述第一语音数据中提取的目标语音特征向量输入所述语音识别模型，输出第一语义向量和第一文本数据；

将所述第一图像数据、第一噪声向量、所述第一语义向量和所述第一文本数据输入所述生成模型，输出第一表情数据，所述第一表情数据包括所述至少一个表情。

可选的，所述输出结果还包括表情插入位置，所述表情插入位置为所述第一语音数据对应的文本内容中插入表情的位置；

所述向所述用户推荐所述至少一个表情，包括：

在所述表情插入位置向所述用户推荐所述至少一个表情。

可选的，所述方法还包括：

获取多组训练数据，每组训练数据包括用户输入的第二语音数据、所述第二语音数据对应的第二图像数据、所述第二语音数据对应的第一表情数据和所述第二语音数据对应的第二文本数据；

标记所述每组训练数据的第一标签。

可选的，所述表情生成模型还包括判别模型和分类模型；

所述方法还包括：对语音识别模型进行训练，具体包括：

将从所述第二语音数据中提取的语音特征向量输入所述语音识别模型，输出第二语义向量和第三文本数据；

根据所述第三文本数据和所述第二文本数据，计算第一损失函数；

分别保持所述生成模型、所述判别模型和所述分类模型的参数不变，将所述第一损失函数最小化对应的参数更新为所述语音生成模型的参数。

可选的，所述方法还包括：