[发明专利]移情式个人虚拟数字助理

说明书

一种个人虚拟助理(PVA)系统获取现有输入并且对其进行处理，以通过分析特征来理解用户的个性、意图等，所述特征诸如是用户语气、语言使用、语音音量、面部表情以及来自设备使用和周围环境的语境。作为处理的结果，所述PVA系统增强了其响应和与用户交互的方式。这样的增强的响应可以包括简单事情，如改变助理的语气以赞美用户的情绪，以及改变其语言、音量的使用和共享信息的方式，比如在用户可能情绪低的时候呈现好消息，或者在并非用户以最佳方式处理的时刻，抑制坏消息。

背景技术

与个人虚拟助理(PVA)的交互正在通过我们家中、工作场所处以及四处移动的移动电话、可穿戴物等上的环境设备而成为日常生活的一部分。当前，与PVA的大部分交互的形式是提出问题并且接收简单的回答。在超出问答类型的互动而达到模仿人类助理的更多回合的交谈时，PVA在互动期间表现出移情(empathy)就变得重要。

一般而言，PVA的响应和交互往往像机器人、语气单一、并且没有情感，有时麻木不仁。结果，用户互动遭受问题。来自PVA的移情式响应(基于先前交互而针对用户进行个性化)将驱动出结果，诸如更多互动的交互、用户满意度提升以及使用增加。

发明内容

在附图和以下详细说明文本中提供了本发明主题的实施例的各种细节。应当理解，以下章节提供了这些实施例中的一些实施例的总结性示例。

为了具有移情，本文描述的PVA除了理解语境和用户的一般兴趣之外，还通过训练机器学习模型而从与特定用户的先前交互以及用户对其响应的反应进行学习。为此目的，使用多模感测(包括音频语气和视频面部表情)来评估用户的反应以学习并且改善将来的反应。

为了理解语境，该PVA还获取现有输入并且对其进行处理，以通过对特征的分析来理解用户的个性、意图等，所述特征诸如是用户语气、语言使用、语音音量、面部表情以及来自设备使用和周围环境的语境。作为处理的结果，该PVA增强了其响应以及与用户交互的方式。这样的增强的响应可以包括简单的事情，如改变助理的语气以匹配或补偿用户的情绪，以及改变其对语言、音量的使用和共享信息的方式，如在用户可能情绪低的时候给出好消息，或者在并非用户对其进行最佳处理的时刻，抑制坏消息。该系统能够学习哪些状况和情感响应与用户发生共鸣，并且能够生成包括诸如元组的记录的存储部，所述元组例如包括{状况，系统情感响应，用户反应}。该数据能够被用于训练机器学习算法，以学习状况与针对用户、针对当前用户群或者针对整个用户群体的最适当情感反应之间的映射。

本文描述的实施例总体涉及一种个人虚拟助理系统，包括：处理电路、扬声器、从至少用户的语音收集关于用户的情感状态的用户状态信息的至少一个感测设备、以及在其中存储有指令的存储器设备。所述指令当由处理电路运行时将处理电路配置为：从用户接收引起来自个人虚拟助理系统的响应的通信；使用机器学习模型根据由至少一个感测设备收集的至少用户状态信息来确定用户的情感状态；生成考虑了所确定的用户的情感状态的响应；使用被选择用于将所确定的所述用户的情感状态改变到不同的情感状态的语言、音量和语气，通过所述扬声器向所述用户输出所生成的响应；以及基于用户对所输出的响应的响应来训练机器学习模型。可以将个人虚拟助理被实现为硬件设备，包括用于所述处理电路、扬声器、至少一个感测设备以及存储器设备的壳体；或者可以被实现于更通用的软件平台上，如能从Microsoft Corporation获得的Windows OS^TM上的Cortana^TM(其可能涉及多个云组件)；或者硬件设备和软件平台的组合。

在样本实施例中，所述至少一个感测设备感测在与个人虚拟助理系统通信中用户所使用的语音语气和语言，并且可以进一步感测用户的面部表情以根据用户的面部表情来提取关于用户的情感状态的用户状态信息。所述至少一个感测设备还可以根据以下中的至少一项来感测用户的语境：用户的位置、当地时间、日程、以及周围环境以及用户与个人虚拟助理系统或其他设备的在先交互。