[发明专利]用于具有深度特征化的主动迁移学习的系统和方法在审
申请号: | 201980078111.5 | 申请日: | 2019-10-22 |
公开(公告)号: | CN113168568A | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | E·N·费恩伯格;V·S·潘德 | 申请(专利权)人: | 斯坦福大学托管董事会 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06N99/00 |
代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 刘前红 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 具有 深度 特征 主动 迁移 学习 系统 方法 | ||
1.一种用于训练深度特征化器的方法,该方法包括:
训练主模型和一组一个或多个辅助模型,其中所述主模型包括一个或多个层的集合;
冻结所述主模型的权重;
从所述主模型生成一组一个或多个输出;以及
在生成的所述一组输出上训练一组一个或多个正交模型。
2.如权利要求1所述的方法,其中训练主模型包括训练所述主模型多个时期。
3.如权利要求2所述的方法,其中每个时期包括在多个数据集上训练所述主模型和所述一组辅助模型。
4.如权利要求3所述的方法,其中生成一组一个或多个输出包括通过所述主模型传播所述多个数据集。
5.如权利要求3所述的方法,其中所述多个数据集中的每个数据集具有针对数据集的输入的不同特点的标签。
6.如权利要求2所述的方法,还包括验证所述主模型和所述一组正交模型。
7.如权利要求6所述的方法,其中验证所述一组正交模型包括计算所述一组正交模型的袋外分数。
8.如权利要求6所述的方法,其中验证所述一组正交模型包括:
在包括训练数据集和验证数据集的主数据集上训练所述主模型;
在所述训练数据集上训练所述一组正交模型;以及
基于所述验证数据集计算正交模型的验证分数。
9.如权利要求1所述的方法,其中生成的所述一组输出是所述主模型的层。
10.如权利要求1所述的方法,其中所述一组正交模型包括随机森林和支持向量机中的至少一种。
11.如权利要求1所述的方法,其中训练主模型包括训练所述主模型多个时期,该方法还包括:
对于每个特定的正交模型,通过验证所述主模型和所述特定的正交模型来识别所述多个时期中的最优时期;以及
在最优时期将所述主模型和所述特定的正交模型合成为复合模型,以对新的一组输入进行分类。
12.如权利要求1所述的方法,其中所述一组辅助模型中的至少一个辅助模型是包括一个或多个层的集合的神经网络。
13.一种非暂态机器可读介质,包含用于训练深度特征化器的处理器指令,其中处理器对指令的执行使处理器执行包括以下的处理:
训练主模型和一组一个或多个辅助模型,其中所述主模型包括一个或多个层的集合;
冻结所述主模型的权重;
从所述主模型生成一组一个或多个输出;以及
在生成的所述一组输出上训练一组一个或多个正交模型。
14.如权利要求13所述的非暂态机器可读介质,其中训练主模型包括训练所述主模型多个时期。
15.如权利要求14所述的非暂态机器可读介质,其中每个时期包括在多个数据集上训练所述主模型和所述一组辅助模型。
16.如权利要求15所述的非暂态机器可读介质,其中生成一组一个或多个输出包括通过所述主模型传播所述多个数据集。
17.如权利要求15所述的非暂态机器可读介质,其中所述多个数据集中的每个数据集具有针对该数据集的输入的不同特点的标签。
18.如权利要求14所述的非暂态机器可读介质,其中所述处理还包括验证所述主模型和所述一组正交模型。
19.如权利要求18所述的非暂态机器可读介质,其中验证所述一组正交模型包括计算所述一组正交模型的袋外分数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于斯坦福大学托管董事会,未经斯坦福大学托管董事会许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201980078111.5/1.html,转载请声明来源钻瓜专利网。