[发明专利]混合专家神经网络在审
| 申请号： | 201780068472.2 | 申请日： | 2017-11-03 |
| 公开（公告）号： | CN109923558A | 公开（公告）日： | 2019-06-21 |
| 发明（设计）人： | N.M.沙泽尔;A.米尔霍西尼;K.S.马齐亚尔兹 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04 |
| 代理公司： | 北京市柳沈律师事务所 11105 | 代理人： | 金玉洁 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种包括神经网络的系统，神经网络包括第一神经网络层和第二神经网络层之间的混合专家(MoE)子网。MoE子网包括多个专家神经网络。每个专家神经网络被配置为处理由第一神经网络层生成的第一层输出，以生成相应的专家输出。MoE子网还包括选通子系统，选通子系统基于第一层输出选择专家神经网络中的一个或多个并为每个所选择的专家神经网络确定相应权重，将第一层输出作为输入提供给所选择的专家神经网络中的每一个，根据所选择的专家神经网络的权重来组合由所选择的专家神经网络生成的专家输出以生成MoE输出，以及将MoE输出作为输入提供给第二神经网络层。 | ||
| 搜索关键词： | 神经网络 输出 第一层 子网 输入提供 选通 输出选择 权重 配置 | ||
【主权项】：
1.一种系统，包括：由一个或多个计算机实施的主神经网络，所述主神经网络包括所述主神经网络中的第一神经网络层和第二神经网络层之间的混合专家(MOE)子网，其中所述MOE子网包括：多个专家神经网络，其中每个专家神经网络被配置为根据所述专家神经网络的相应的专家参数集来处理由所述第一神经网络层生成的第一层输出，以生成相应的专家输出，以及选通子系统，被配置为：基于所述第一层输出来选择所述专家神经网络中的一个或多个专家神经网络，并为每个所选择的专家神经网络确定相应权重，将所述第一层输出作为输入提供给所选择的专家神经网络中的每一个专家神经网络；根据所选择的专家神经网络的权重来组合由所选择的专家神经网络生成的专家输出，以生成MoE输出，以及将所述MoE输出作为输入提供给所述第二神经网络层。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201780068472.2/，转载请声明来源钻瓜专利网。
- 上一篇：使用连续正则化训练联合多任务神经网络模型
- 下一篇：准循环神经网络
