[发明专利]一种深度学习预测服务系统的优化方法

说明书

本发明涉及深度学习预测服务系统，是深度学习与服务系统结合的领域，深度学习预测服务系统以计算为中心，预测服务系统中各深度学习模型同时进行预测计算，会有大概率对硬件资源竞争，使得服务质量不稳定。本发明为每个模型划分可用的硬件资源，主要是高速缓存分区技术对预测服务系统优化的方法，解决模型预测用时不稳定的问题。本发明的内容有：将核心硬件资源划分为资源池，每个模型只能占用对应的资源池，实现了模型在高速缓存、CPU核心级别的隔离，使得模型在运行时对核心资源的竞争减少，从而将每个模型的运行时间稳定在一定范围，而不会出现两次运行时间差别非常大的情况。

技术领域

本文发明涉及深度学习预测服务系统领域，深度学习预测服务系统，主要功能有部署深度学习模型，接受来自网络端的预测请求，并且能将请求的数据传输到对应的深度学习模型中进行计算，返回模型推理预测结果。深度学习预测服务系统与以数据为中心的服务系统不同，这是一个以计算为中心的服务系统，对每一个合法的预测请求，不仅会消耗I/O资源，同时还会消耗大量的计算资源。随着深度学习的兴起，深度学习预测服务系统的研究也逐渐得到关注。工业生产中，预测服务系统中部署多种深度学习模型，为不同应用提供预测服务。在这样的系统中如何高效地利用CPU核心、高速缓存等硬件资源就是一个重要的应用研究方向。

背景技术

深度学习作为机器学习算法研究中的一个新的技术，其动机在于建立、模拟人脑进行分析学习的神经网络。近十年来，各种深度学习算法和高效深度学习模型框架的提出，以及GPU，TPU等硬件设备在深度学习领域的使用，使得深度学习模型的训练时间减少，准确率的逐步提升，使之能在人工智能领域被广泛应用。工程应用中，深度学习模型的训练和预测是两个不同的阶段，训练时可以选择一种深度学习框架，从收集数据和设计模型、训练数据开始。当一种新的算法或者更好的模型框架出现，模型可能还需要从一种框架中迁移到另一种框架。深度学习的基础库的研究也得到很多关注，一些开源机器学习工具库，HadoopMahout、scikit-learn、Spark MLlib、tensorflow和Weka、torch也渐渐出现，这些基础库为深度学习模型的构建与训练提供了方便。

训练好的深度学习模型提供了将输入转换为解决方案的预测功能，将深度学习模型(Deep Learning模型，以下简称DL模型)与服务系统集成在一起，使服务系统成为与深度学习模型耦合并提供预测服务，这方面的研究也随着深度学习研究的兴起受到关注。深度学习预测服务系统，其中包括面向用户层应用程序接口，服务系统与深度学习模型的耦合方式的设计。通用的深度学习预测服务(以下简称预测服务系统)如附图1所示，用户层应用通过网络向服务系统发送预测请求，预测服务系统按照请求的内容将数添加到对应的DL模型的任务队列，等到DL模型空闲时调用DL模型对输入数据进行运算得到结果，预测服务系统将DL模型返回的结果传回用户层应用。预测服务系统中所有DL模型共享核心硬件资源，CPU核心、高速缓存、内存带宽等。

在深度学习预测服务系统中，评价性能的指标主要有：单个预测任务的时延；预测任务的准确率；DL模型的吞吐率。预测任务的准确率主要由DL模型的设计和训练过程用到的数据量决定，预测任务的时延主要由DL模型运行时可用的硬件资源(CPU核心、GPU、高速缓存、内存带宽等)决定，吞吐率则由DL模型是否支持批处理和做一次预测的时间共同决定。

工业界相关预测服务系统有：领英研发的一款在线精准广告预测服务系统LASER，支持在线训练和在线预测服务；UC Berkeley的开源项目clipper，支持部署不同框架的DL模型，同时提供版本管理，clipper能够很好地适应多种常见的深度学习框架(torch、keras、tensorflow、spark、caffe等)，并且以动态大小的批处理方式处理预测请求；Google的tenserflow serving是部署tensorflow DL模型的预测服务系统，可以很好地配置tensorflow模型并使用GPU资源加速，并且使用固定大小的批处理策略降低模型调度的代价。

发明内容