[发明专利]用于人工智能驱动的自动伴侣的系统和方法

权利要求书

1.一种在至少一个机器上实现的方法，该机器包含至少一个处理器、存储器以及能够连接到网络的通信平台，该方法用于自动对话伴侣，其包含：

接收与在对话场景中参与特定话题的对话的用户相关联的多模态输入数据，其中，多模态输入数据捕获来自用户的讯息以及对话场景周边的信息；

分析多模态输入数据，以提取对用户状态以及与对话场景相关联的相关信息进行表征的特征；

基于用户状态和与对话场景相关联的相关信息，生成对话的当前状态，其中，对话的当前状态描绘对话的背景；

基于与特定话题的对话对应的对话树、对话的当前状态以及基于历史对话数据与对话的当前状态学习的效用，确定将要响应于讯息而被传送到用户的响应讯息。

2.权利要求1的方法，其中，多模态输入数据至少包括音频数据、视觉数据、文字数据和触觉数据。

3.权利要求2的方法，其中，分析多模态输入数据以提取特征的步骤包含以下至少一种：

分析音频数据，以识别：

来自用户的讯息的内容，

表示在讯息中传送的情绪的、讯息的特点，以及

对话场景中的音频声音；

分析视觉数据，得到对话场景周边的信息，其包括以下至少一者：

用户的面部表情，

与面部表情相关联的情绪，

用户执行的动作，

对话场景中的一个以上的对象及其空间关系。

4.权利要求3的方法，其中，生成对话的当前状态的步骤包含：

基于来自用户的讯息的内容和对话树，获得对话的语言解析图(Lan-PG)；

基于由用户执行的动作和对话树，获得空间-时间-因果解析图(STC-PG)；以及

基于Lan-PG、STC-PG和对话场景周边的信息，生成联合解析图(联合-PG)。

5.权利要求1的方法，进一步包含效用的机器学习，其包含：

访问与过去的对话有关的历史对话数据；

基于历史对话数据，经由机器学习，获得效用；

基于对话的当前状态，动态地更新效用。

6.权利要求5的方法，其中，确定响应讯息的步骤包含：

确定与对应于对话的当前状态的对话树中的节点相关联的多个动作；

评估与所述多个动作中的每一个相关联的奖励；以及

基于效用，从所述多个动作中选择作为响应讯息的动作，其中，所选择的动作对应于根据所学习效用的最大效用。

7.权利要求6的方法，其中，通过与所述多个动作相关联的奖励的评估以及关于所述多个动作中每一个的前瞻性未来奖励，递归地学习效用。

8.机器可读的非暂时性介质，其上记录有用于自动对话伴侣的信息，其中，该信息在被机器读取时，使得机器执行：

接收与在对话场景中参与特定话题的对话的用户相关联的多模态输入数据，其中，多模态输入数据捕获来自用户的讯息以及对话场景周边的信息；

分析多模态输入数据，以提取对用户状态以及与对话场景相关联的相关信息进行表征的特征；

基于用户状态和与对话场景相关联的相关信息，生成对话的当前状态，其中，对话的当前状态描绘对话的背景；

基于与特定话题的对话对应的对话树、对话的当前状态以及基于历史对话数据与对话的当前状态学习的效用，确定将要响应于讯息而被传送到用户的响应讯息。

9.权利要求8的介质，其中，多模态输入数据至少包括音频数据、视觉数据、文字数据和触觉数据。