[发明专利]一种信息获得方法及装置

权利要求书

1.一种信息获得方法，其特征在于，所述方法包括：

获得用户面部图像和用户语音；

确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；

对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；

将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。

2.根据权利要求1所述的方法，其特征在于，所述确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：

采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量。

3.根据权利要求2所述的方法，其特征在于，所述采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：

采用卷积神经网络模型，提取所述用户面部图像的高维隐含状态向量；

采用循环神经网络模型，提取所述用户语音的高维隐含状态向量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述预先构建的非线性变化模型按照以下方式确定输出信息：

确定表情库中每一表情对应的索引与所述目标聚合状态信息的置信度，其中，所述表情库中存储有表情与索引之间的对应关系；

基于所确定的置信度，确定所述非线性变化模型输出的表情对应的索引。

5.根据权利要求4所述的方法，其特征在于，所述基于所确定的置信度，确定所述预先构建的非线性变化模型输出的表情对应的索引，包括：

基于所确定的置信度，按照置信度从大到小的顺序，将前预设数量个置信度对应的索引确定为所述非线性变化模型输出的表情对应的索引。

6.一种信息获得装置，其特征在于，所述装置包括：

图像语音获得模块，用于获得用户面部图像和用户语音；

状态向量确定模块，用于确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；

状态向量获得模块，用于对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；

表情信息获得模块，用于将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。

7.根据权利要求6所述的装置，其特征在于，所述状态向量确定模块，包括：

状态向量提取子模块，用于采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量。

8.根据权利要求6所述的装置，其特征在于，所述状态向量提取子模块，包括：

第一状态向量提取单元，用于采用卷积神经网络模型，提取所述用户面部图像的高维隐含状态向量；

第二状态向量提取单元，用于采用循环神经网络模型，提取所述用户语音的高维隐含状态向量。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；

存储器，用于存放处理程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有处理程序，所述处理程序被处理器执行时实现权利要求1-5任一所述的方法步骤。