[发明专利]一种深度学习预测服务系统的优化方法

摘要

本发明涉及深度学习预测服务系统，是深度学习与服务系统结合的领域，深度学习预测服务系统以计算为中心，预测服务系统中各深度学习模型同时进行预测计算，会有大概率对硬件资源竞争，使得服务质量不稳定。本发明为每个模型划分可用的硬件资源，主要是高速缓存分区技术对预测服务系统优化的方法，解决模型预测用时不稳定的问题。本发明的内容有：将核心硬件资源划分为资源池，每个模型只能占用对应的资源池，实现了模型在高速缓存、CPU核心级别的隔离，使得模型在运行时对核心资源的竞争减少，从而将每个模型的运行时间稳定在一定范围，而不会出现两次运行时间差别非常大的情况。