[发明专利]训练图像嵌入模型和文本嵌入模型

权利要求书

1.一种由一个或更多个数据处理装置执行的方法，该方法包括：

处理来自搜索系统的历史查询日志的数据以生成训练示例的候选集，其中每个训练示例包括：(i)包括一个或更多个单词的序列的搜索查询，(ii)图像，以及(iii)选择数据，该选择数据表征用户响应于图像由搜索查询的搜索结果识别而选择该图像的频率；

至少部分地基于训练示例的选择数据，从训练示例的候选集中选择多个训练示例，以用于联合训练：(i)具有多个图像嵌入模型参数的图像嵌入模型，以及(ii)具有多个文本嵌入模型参数的文本嵌入模型；以及

使用训练数据来联合训练图像嵌入模型和文本嵌入模型，其中，对于每个被选择的训练示例，所述训练包括：

使用图像嵌入模型处理训练示例的图像，以生成图像的嵌入；

使用文本嵌入模型处理训练示例的搜索查询的表示，以生成搜索查询的嵌入；

确定图像的嵌入与搜索查询的嵌入之间的相似性度量；以及

至少部分地基于图像的嵌入与搜索查询的嵌入之间的相似性度量调整图像嵌入模型参数和文本嵌入模型参数。

2.根据权利要求1所述的方法，其中训练数据使用网络搜索系统的历史查询日志来生成。

3.根据权利要求1或2所述的方法，其中用于每个训练示例的选择数据指示用户响应于训练示例的图像由该训练示例的搜索查询的搜索结果识别而选择该训练示例的图像的次数的分数。

4.根据权利要求1、2或3所述的方法，其中从训练示例的候选集中选择多个训练示例包括：

选择多个训练示例，对于所述多个训练示例，训练示例的图像由用户响应于该图像由该训练示例的搜索查询的搜索结果识别而最频繁地选择。

5.根据任一前述权利要求所述的方法，其中图像嵌入模型和文本嵌入模型包括一个或更多个神经网络。

6.根据权利要求5所述的方法，其中调整图像嵌入模型参数和文本嵌入模型参数包括：

确定损失函数的梯度，该损失函数取决于图像的嵌入与搜索查询的嵌入之间的相似性度量；以及

使用该梯度来调整图像嵌入模型参数和文本嵌入模型参数。

7.根据权利要求6所述的方法，其中损失函数取决于训练示例的选择数据。

8.根据权利要求6所述的方法，其中损失函数是分类损失函数或三重态损失函数。

9.根据任一前述权利要求所述的方法，其中图像的嵌入具有与搜索查询的嵌入相同的维数。

10.根据任一前述权利要求所述的方法，其中确定图像的嵌入与搜索查询的嵌入之间的相似性度量包括：

确定图像的嵌入与搜索查询的嵌入之间的欧几里德距离。