[发明专利]用于有效神经网络部署的系统和方法有效
| 申请号： | 201610772116.6 | 申请日： | 2016-08-30 |
| 公开（公告）号： | CN106503791B | 公开（公告）日： | 2019-05-07 |
| 发明（设计）人： | 克里斯托弗·丰纳;布赖恩·卡坦扎罗 | 申请（专利权）人： | 百度（美国）有限责任公司 |
| 主分类号： | G06N3/02 | 分类号： | G06N3/02 |
| 代理公司： | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人： | 王达佐;杨莘 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了对于诸如神经网络部署的计算密集型任务实现有效引擎的系统和方法。提供本发明各实施方式，以针对在诸如实时语音转录的高流量应用中提高串流数据吞吐量的高吞吐量分批。在实施方式中，通过动态聚集成分批以及共同处理在未知定时下随机到达的用户请求来提高吞吐量，使得并非所有数据在进行分批时便立即呈现。一些实施方式允许利用预处理来执行流分类。性能增益允许更有效地使用计算引擎并且极大降低了大规模部署大型神经网络的成本，同时满足严格的应用要求并使增加的计算延迟相对较小，从而保持令人满意的应用体验。 | ||
| 搜索关键词： | 用于 有效 神经网络 部署 系统 方法 | ||
【主权项】：
1.用于提高数据处理请求的吞吐量的分批方法，所述方法包括：以至少部分未知的定时，接收与待通过使用神经网络模型来处理的请求相关的数据，所述请求受一个或多个约束的限制；利用所述一个或多个约束中的至少之一，将所述数据中的至少一些动态聚集成分批；以及利用编排多个线程的单个线程来处理所述分批，以分担从存储器加载所述神经网络模型的负荷，从而提高数据吞吐量。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度（美国）有限责任公司，未经百度（美国）有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610772116.6/，转载请声明来源钻瓜专利网。
- 上一篇：摄像模组、通过其进行人像追踪的方法以及电子设备
- 下一篇：一种拍摄方法和终端
