[发明专利]动态优化Caffe的性能的方法、系统、设备及介质

说明书

本发明公开了一种动态优化Caffe的性能的方法、系统、设备和存储介质，方法包括以下步骤：每隔第一预定时间获取CPU和GPU的利用率和温度，并根据CPU和GPU的温度判断是否满足散热要求；响应于满足散热要求，判断CPU的利用率是否小于或等于利用率阈值；响应于CPU的利用率小于或等于利用率阈值，计算第二预定时间内的GPU利用率的变异系数，并基于变异系数判断是否存在性能瓶颈；以及响应于存在性能瓶颈，增大批量大小和数据传输线程数。本发明提出的动态优化Caffe的性能的方法、系统、设备及介质通过监控系统资源运行情况，发现并消除瓶颈，保证运行在GPU上的caffe性能达到最佳状态。

技术领域

本发明涉及服务器领域，更具体地，特别是指一种动态优化Caffe的性能的方法、系统、计算机设备及可读介质。

背景技术

近年来，AI(Artificial Intelligence，人工智能)技术在图像识别、自然语言处理、推荐系统等领域取得了巨大突破，为商业领域落地提供了无限可能。AI模型首先需要进行大量的数据训练，才能够达到较高的精度，从而在实际生产中发挥作用。AI技术的突破，除了算法本身之外，最重要的原因是计算力的快速增长，GPU加速卡起到了至关重要的作用。

Caffe可以运行在CPU或者GPU之上，在模型训练阶段，GPU是当前性能最强大的计算部件，但GPU发挥最大的计算性能，仍需要CPU、内存系统、PCIE系统、散热系统以及其它IO系统的配合。现有技术仅仅只关注于GPU利用率。但是，caffe性能优化并不仅是优化GPU即可，还需要动态监控CPU、内存系统、PCIE系统、散热系统以及IO系统，找出性能瓶颈，进而提出行之有效的优化方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种动态优化Caffe的性能的方法、系统、计算机设备及计算机可读存储介质，通过监控系统资源运行情况，发现并消除瓶颈，保证运行在GPU上的caffe性能达到最佳状态。

基于上述目的，本发明实施例的一方面提供了一种动态优化Caffe的性能的方法，包括如下步骤：每隔第一预定时间获取CPU和GPU的利用率和温度，并根据所述CPU和GPU的温度判断是否满足散热要求；响应于满足散热要求，判断所述CPU的利用率是否小于或等于利用率阈值；响应于所述CPU的利用率小于或等于所述利用率阈值，计算第二预定时间内的GPU利用率的变异系数，并基于所述变异系数判断是否存在性能瓶颈；以及响应于存在性能瓶颈，增大批量大小和数据传输线程数。

在一些实施方式中，所述根据所述CPU和GPU的温度判断是否满足散热要求包括：判断所述CPU的温度是否小于第一温度阈值；以及判断所述GPU的温度是否小于第二温度阈值。

在一些实施方式中，还包括：响应于不满足散热要求，根据所述CPU和GPU的温度调整风扇的占空比。

在一些实施方式中，还包括：响应于所述CPU的利用率大于所述利用率阈值，判断所述CPU的利用率是否小于或等于第二利用率阈值；以及响应于所述CPU的利用率小于或等于第二利用率阈值，提高所述CPU的运行频率。

在一些实施方式中，还包括：获取并基于磁盘输入输出速率、内存和训练数据集的大小判断训练数据集是否已经缓存到内存中。

在一些实施方式中，所述判断训练数据集是否已经缓存到内存中包括：判断磁盘输入输出速率是否小于输入输出速率阈值；以及响应于磁盘输入输出速率小于输入输出速率阈值，判断内存中缓存的大小是否停止增长并大于训练数据集的大小。