[发明专利]一种信息获得方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种信息获得方法及装置。

背景技术

目前，随着科学的进步和发展，在用户视频聊天过程中，不需要用户人工选择发送表情，而是通过用户面部图像和语音便可以获得推荐给用户的表情，从而便于用户实现与其他用户的互动。

现有技术中，根据用户面部图像和用户语音获得推荐给用户的表情的具体过程为：首先确定用户的面部图像和用户语音，然后，根据面部图像特征，提取用户表情，并将提取的用户表情转化为表情字符串，之后，提取用户语音中能够表达情感的词汇，并将提取的词汇转换为词汇字符串，当表情字符串和词汇字符串一致时，确定表情字符串或者词汇字符串与表情库中每一表情的置信度，并将最大置信度对应的表情推送给用户，其中，表情库中存储有表情与表情名之间的对应关系。这样的话，只有当表情字符串和词汇字符串一致时，才能确定出推送给用户的表情，而当表情字符串和词汇字符串不一致时，将无法获得最后推荐给用户的表情。

发明内容

本发明实施例的目的在于提供信息获得方法及装置，已解决现有技术中的问题。具体技术方案如下：

一种信息获得方法，所述方法包括：

获得用户面部图像和用户语音；

确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；

对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；

将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。

可选地，所述确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：

采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量。

可选地，所述采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：

采用卷积神经网络模型，提取所述用户面部图像的高维隐含状态向量；

采用循环神经网络模型，提取所述用户语音的高维隐含状态向量。

可选地，所述预先构建的非线性变化模型按照以下方式确定输出信息：

确定表情库中每一表情对应的索引与所述目标聚合状态信息的置信度，其中，所述表情库中存储有表情与索引之间的对应关系；

基于所确定的置信度，确定所述非线性变化模型输出的表情对应的索引。

可选地，所述基于所确定的置信度，确定所述预先构建的非线性变化模型输出的表情对应的索引，包括：

基于所确定的置信度，按照置信度从大到小的顺序，将前预设数量个置信度对应的索引确定为所述非线性变化模型输出的表情对应的索引。

本发明实施例还提供了一种信息获得装置，所述装置包括：

图像语音获得模块，用于获得用户面部图像和用户语音；

状态向量确定模块，用于确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；

状态向量获得模块，用于对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；

表情信息获得模块，用于将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。

可选地，所述状态向量确定模块，包括：

状态向量提取子模块，用于采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量。

可选地，所述状态向量提取子模块，包括：

第一状态向量提取单元，用于采用卷积神经网络模型，提取所述用户面部图像的高维隐含状态向量；

第二状态向量提取单元，用于采用循环神经网络模型，提取所述用户语音的高维隐含状态向量。

可选地，所述装置还包括：

表情信息确定模块，用于所述预先构建的非线性变化模型确定输出信息；

所述表情信息确定模块，具体用于：