[发明专利]训练和/或使用编码器模型确定自然语言输入的响应动作

权利要求书

1.一种由一个或多个处理器实现的方法，包括：

识别均包括输入和响应的多个正训练实例，其中对于所述正训练实例中的每一个正训练实例：

所述输入基于对应电子通信的内容，并且

所述回复基于响应于所述对应电子通信的对应响应电子通信；

基于所述正训练实例，训练编码器模型，其中，基于所述正训练实例的给定实例，训练所述编码器模型包括：

基于使用所述编码器模型处理所述输入来生成输入编码；

基于使用所述编码器模型处理所述响应来生成响应编码；

基于使用推理模型处理所述响应编码来生成最终响应编码；

基于所述输入编码和所述最终响应编码的比较来确定值；以及

基于所述值与由所述给定实例指示的给定值的比较，更新所述推理模型和所述编码器模型两者；并且

在训练所述编码器模型后：

独立于所述推理模型，使用经训练的编码器模型来确定两个文本段的相似性值，其中，所述相似性值指示所述两个文本段的语义相似性。

2.根据权利要求1所述的方法，进一步包括：

基于多个不同的附加训练实例来训练所述编码器模型，其中所述多个不同的附加训练实例用于与所述多个正训练实例的任务不同的任务。

3.根据权利要求2所述的方法，其中，基于所述不同的附加训练实例中的给定不同实例来训练所述编码器模型包括：

基于使用所述编码器模型处理所述给定不同实例的第一输入来生成第一编码；

基于使用所述编码器模型处理所述给定不同实例的第二输入来生成第二编码；

基于使用附加模型对所述第一编码和所述第二编码的处理来生成预测，其中所述附加模型在基于所述正训练实例训练所述编码器模型时未被使用；以及

基于所述预测与所述给定不同实例的标记输出的比较，更新所述附加模型和所述编码器模型两者。

4.根据权利要求3所述的方法，其中，所述标记输出指示自然语言推断任务的多个潜在类别中的特定类别。

5.根据权利要求3或权利要求4所述的方法，其中基于所述多个不同的附加训练实例来训练所述编码器模型与基于所述正训练实例来训练所述编码器模型同时发生。

6.根据权利要求5所述的方法，其中基于所述多个不同的附加训练实例来训练所述编码器模型是通过一个或多个第一工作者线程，并且其中基于所述正训练实例来训练所述编码器模型是通过一个或多个第二工作者线程。

7.根据任一项前述权利要求所述的方法，其中，使用经训练的编码器模型来确定所述两个文本段的相似性值包括：

接收针对自动助理的查询；

基于使用经训练的编码器模型处理所述查询来生成查询编码；

将所述查询编码与多个预定查询编码进行比较，每个预定查询编码与一个或多个对应动作相关联地存储；

基于所述比较，确定与所述查询编码最相似的给定预定查询编码；以及

响应于所述查询并且基于与所述查询编码最相似的给定预定查询编码，使所述自动助理执行与所述给定预定查询编码相关联地存储的一个或多个对应动作。

8.根据权利要求7所述的方法，进一步包括：

确定所述查询编码与所述给定预定查询编码之间的距离满足接近度阈值；

其中，使所述自动助理执行一个或多个对应动作进一步响应于确定所述距离满足所述接近度阈值。

9.根据权利要求7或权利要求8所述的方法，其中，将所述查询编码与所述多个预定查询编码进行比较包括：

生成多个标量值，每个标量值基于所述查询编码和所述给定预定查询编码中的对应给定预定查询编码的对应点积；以及

其中，基于所述比较确定与所述查询编码最相似的给定预定查询编码包括：基于以该查询编码和该给定预定查询编码的点积为基础的标量值是所生成的多个标量值中的最小的来选择该给定预定查询编码。