[发明专利]使用隐式反馈优化数字助理的对话策略决策

权利要求书

1.一种用于优化对话策略决策的方法，包括：

在具有存储器和一个或多个处理器的电子设备处：

接收用户话语；

基于所述用户话语的文本表示，确定对应于所述用户话语的一个或多个用户意图；

确定所述一个或多个用户意图的信度状态，其中所述信度状态对应于多个候选策略操作；

基于策略模型，将所述信度状态映射至所述多个候选策略操作；

基于所述信度状态和所述策略模型，从所述多个候选策略操作中选择策略操作；

执行所述策略操作，包括输出所述策略操作的结果以供呈现；

基于在执行所述策略操作之后是否检测到多种类型的用户输入中的一种来确定所述策略操作的成功分数，其中所述多种类型的用户输入各自为除对结构化设备查询的响应之外的一种类型的用户输入；以及

根据所确定的成功分数来对所述策略模型的一组参数值进行修改。

2.根据权利要求1所述的方法，其中所述多种类型的用户输入中的第一类型的用户输入包括在输出所述策略操作的所述结果之后的预先确定的持续时间内在所述设备处接收到的用户输入。

3.根据权利要求1至2中任一项所述的方法，其中所述多种类型的用户输入中的第二类型的用户输入包括调用所述电子设备的数字助理的用户输入。

4.根据权利要求1至2中任一项所述的方法，其中：

输出所述策略操作的所述结果以供呈现包括在所述设备的第一应用程序的第一用户界面上显示所述结果；并且

所述多种类型的用户输入中的第三类型的用户输入包括使得所述设备从显示所述第一应用程序的所述第一用户界面切换为显示所述设备的第二应用程序的第二用户界面的用户输入。

5.根据权利要求4所述的方法，其中：

所述策略操作对应于所述一个或多个用户意图的第一用户意图；并且

所述第一用户意图表示所述设备的所述第二应用程序能够执行的任务。

6.根据权利要求1至2中任一项所述的方法，其中：

所述策略操作对应于所述一个或多个用户意图的第二用户意图；并且

所述多种类型的用户输入中的第四类型的用户输入包括将值输入到第三用户界面的输入字段中的用户输入，所述输入字段表示所述第二用户意图的属性。

7.根据权利要求1至2中任一项所述的方法，其中：

所述策略操作的所述结果包括所述一个或多个用户意图的属性的值；并且

所述多种类型的用户输入中的第五类型的用户输入包括提供所述一个或多个用户意图的所述属性的第二值的用户输入。

8.根据权利要求1至2中任一项所述的方法，其中所述多种类型的用户输入不包括明确指定用户对所执行的策略操作满意或不满意的用户输入。

9.根据权利要求1至2中任一项所述的方法，其中对所述策略模型的所述一组参数值进行修改包括根据所确定的所执行的策略操作的成功分数使用强化学习来确定所述策略模型的更新的一组参数值。

10.根据权利要求9所述的方法，其中将所确定的成功分数用作所述强化学习的回报。

11.根据权利要求1至2中任一项所述的方法，其中对所述策略模型的所述一组参数值进行修改不包括使用所确定的成功分数来执行监督机器学习。

12.根据权利要求1至2中任一项所述的方法，其中从所述多个候选策略操作中选择所述策略操作包括基于所述信度状态来选择所述多个候选策略操作中的使所述策略模型的回报函数最大化的所述策略操作。

13.根据权利要求1至2中任一项所述的方法，其中：

所述策略操作对应于所述一个或多个用户意图的第三用户意图；并且

所述策略操作包括提示用户提供所述第三用户意图的属性的值。