[发明专利]紧凑的无语言面部表情嵌入和新颖三元组的训练方案有效
申请号: | 202110333798.1 | 申请日: | 2018-03-14 |
公开(公告)号: | CN112990054B | 公开(公告)日: | 2023-01-10 |
发明(设计)人: | R.维姆拉帕利;A.阿加尔瓦拉 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/82;G06V10/70;G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 金玉洁 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 紧凑 语言 面部 表情 嵌入 新颖 三元 训练 方案 | ||
1.一种计算机系统,所述计算机系统包括:
机器学习模型,被配置为接收输入,并且作为响应,提供对描述所述输入的信息进行编码的嵌入;
一个或多个处理器;和
存储指令的一个或多个非暂时性计算机可读介质,所述指令当由所述一个或多个处理器执行时,使得所述计算机系统:
获取输入;
向所述机器学习模型提供输入;和
接收所述对描述所述输入的信息进行编码的嵌入作为所述机器学习模型的输出;
其中,所述机器学习模型已经在训练数据集上训练,所述训练数据集包括组织成训练输入三元组的多个训练输入;
其中,每个训练输入三元组包括标签,所述标签指示被包括在这个训练输入三元组中的三个训练输入中的哪两个已经被评估为这个训练输入三元组中最相似的训练输入对;
其中,每个训练输入三元组包括第一训练输入、第二训练输入和第三训练输入,其中所述第一训练输入和所述第二训练输入已经被评估为所述训练输入三元组中最相似的训练输入对;
其中,所述机器学习模型已经用对第一约束和第二约束两者进行编码的目标函数进行了训练;
其中,所述第一约束包括这样的第一要求:由所述机器学习模型为所述第一训练输入提供的第一嵌入和由所述机器学习模型为所述第二训练输入提供的第二嵌入之间的第一距离小于所述第一嵌入和由所述机器学习模型为所述第三训练输入提供的第三嵌入之间的第二距离;
其中,所述第二约束包括这样的第二要求:所述第一嵌入和所述第二嵌入之间的第一距离小于由所述机器学习模型为所述第二训练输入提供的第二嵌入和由所述机器学习模型为所述第三训练输入提供的第三嵌入之间的第三距离;和
其中,对于每个训练输入三元组,所述三个训练输入中没有一个被指示为锚训练输入。
2.根据权利要求1所述的计算机系统,其中,所述机器学习模型包括卷积神经网络。
3.根据权利要求1所述的计算机系统,其中,所述嵌入包括无语言嵌入。
4.根据权利要求3所述的计算机系统,其中,没有一个训练输入已经用基于语言的类别标签进行了标记。
5.根据权利要求1所述的计算机系统,其中,所述指令的执行还使得所述计算机系统:
响应于与所述输入相关联的搜索查询并至少部分基于所述嵌入,识别至少一个附加输入作为搜索结果,其中为了识别所述至少一个附加输入作为搜索结果,所述计算机系统将与所述输入相关联的所述嵌入与分别与作为潜在搜索结果的多个候选输入相关联的多个附加嵌入进行比较。
6.根据权利要求1所述的计算机系统,其中,所述输入包括图像,所述机器学习模型包括机器学习图像处理模型,由所述机器学习图像处理模型输出的嵌入对描述所述图像的信息进行编码,并且每个训练输入包括训练图像。
7.根据权利要求1所述的计算机系统,其中,所述输入包括描绘对象的图像,所述机器学习模型包括机器学习对象识别模型,由所述机器学习对象识别模型输出的嵌入对描述由所述图像描绘的对象的信息进行编码,并且每个训练输入包括描绘训练对象的训练图像。
8.根据权利要求1所述的计算机系统,其中,所述输入包括描绘面部的面部图像,由所述机器学习模型输出的嵌入对描述由所述面部图像描绘的面部的信息进行编码,并且每个训练输入包括描绘训练面部的训练面部图像。
9.根据权利要求8所述的计算机系统,其中,所述面部图像描绘了具有面部表情的面部,并且所述机器学习模型包括被配置为生成对关于所述面部的面部表情的信息进行编码的嵌入的机器学习面部表情模型。
10.根据权利要求9所述的计算机系统,其中,所述机器学习模型包括机器学习面部识别模型。
11.根据权利要求1所述的计算机系统,其中,所述嵌入对描述被连续赋值的输入的特征的信息进行编码。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110333798.1/1.html,转载请声明来源钻瓜专利网。