[发明专利]经由使用组合神经网络的场景建模进行自适应对话的系统和方法

权利要求书

1.一种在至少一个机器上实现的方法，所述至少一个机器包括至少一个处理器、存储器和能够连接到网络以进行自适应对话的通信平台，所述方法包括：

接收一个或多个图像，所述一个或多个图像捕获对话场景的周围情况，用户和机器在所述对话场景中参与基于对话策略进行的对话；

经由第一类型的人工神经网络，从所述一个或多个图像中检测所述对话场景中存在的一个或多个物体；

经由第二类型的人工神经网络，基于所述一个或多个图像检测所述一个或多个物体之间的空间关系；以及

基于所述一个或多个物体和所述空间关系，生成表征所述对话场景的场景建模信息，其中所述场景建模信息被用于自适应对话。

2.如权利要求1所述的方法，其中，所述第一类型的人工神经网络是卷积神经网络CNN，所述卷积神经网络是基于基于CNN的物体/特征检测模型而配置的，所述基于CNN的物体/特征检测模型是基于从训练图像检测到的标记的物体经由有监督的学习而训练的。

3.如权利要求1所述的方法，其中，所述第二类型的人工神经网络是图神经网络GNN，所述图神经网络是基于基于GNN的空间关系检测模型而配置的，所述基于GNN的空间关系检测模型是基于从训练图像检测到的物体之间的标记的空间关系经由有监督的学习而训练的。

4.如权利要求1所述的方法，还包括通过评估以下各项中的至少一项来确定何时调整所述对话：

所述对话是否需要被调整；以及

所述对话场景是否要被增强以允许在增强的对话场景中调整所述对话。

5.如权利要求4所述的方法，还包括：当要增强所述对话场景时，

选择要在所述对话场景中渲染的一个或多个虚拟物体；

基于所述场景建模信息，确定用于渲染所述一个或多个虚拟物体的参数；以及

根据所述参数，在所述对话场景中投影所述一个或多个虚拟物体，以创建所述增强的对话场景。

6.如权利要求4所述的方法，还包括：根据与所述增强的对话场景一致的增强的对话策略，在所述增强的对话场景中调整所述对话。

7.如权利要求6所述的方法，其中，在所述增强的对话场景中调整所述对话的步骤包括：

基于所述增强的对话场景和所述对话策略，生成所述增强的对话策略；以及

基于所述增强的对话策略，在所述增强的对话场景中进行所述对话。

8.一种机器可读和非暂态介质，其上记录有用于自适应对话的信息，其中，所述信息在被机器读取时使所述机器执行以下步骤：

接收一个或多个图像，所述一个或多个图像捕获对话场景的周围情况，用户和机器在所述对话场景中参与基于对话策略进行的对话；

经由第一类型的人工神经网络，从所述一个或多个图像中检测所述对话场景中存在的一个或多个物体；

经由第二类型的人工神经网络，基于所述一个或多个图像检测所述一个或多个物体之间的空间关系；以及

基于所述一个或多个物体和所述空间关系，生成表征所述对话场景的场景建模信息，其中所述场景建模信息被用于自适应对话。

9.如权利要求8所述的介质，其中，所述第一类型的人工神经网络是卷积神经网络CNN，所述卷积神经网络是基于基于CNN的物体/特征检测模型而配置的，所述基于CNN的物体/特征检测模型是基于从训练图像检测到的标记的物体经由有监督的学习而训练的。

10.如权利要求8所述的介质，其中，所述第二类型的人工神经网络是图神经网络GNN，所述图神经网络是基于基于GNN的空间关系检测模型而配置的，所述基于GNN的空间关系检测模型是基于从训练图像检测到的物体之间的标记的空间关系经由有监督的学习而训练的。