[发明专利]一种基于负载特征分析的深度学习应用云配置推荐方法及系统

说明书

本发明涉及一种基于负载特征分析的深度学习应用云配置推荐方法及系统，包括特征分析器，配置推荐器，工作负载执行器，负载运行数据收集器，可视化交互器五部分。本发明采用了负载特征分析的方法，提取负载特征向量，提高了黑盒模型预测的准确性，同时保持了良好的可拓展性，也能根据客户的具体需求推荐更合适的配置；提出了更高效的运行时资源使用数据采集方法，大幅降低了负载特征向量提取的时间成本，进一步提高了云配置推荐系统的收益；提供了一个可供用户交互的管理界面，用户可以通过界面提交自定义的工作负载，获取推荐的配置，快捷部署相应环境，运行工作负载，并获取实时资源使用数据。

技术领域

本发明涉及一种基于负载特征分析的深度学习应用云配置推荐方法及系统，属于云服务和计算技术领域。

背景技术

在信息时代，云服务所使用的数据量日益增加，大数据已经和云计算紧密结合。大数据应用运行在云环境已经成为云计算发展的重要趋势之一。Gartner报告指出，超过半数的全球大型组织的大数据应用正在向云环境迁移。微软的报告指出，40％的大数据应用具有周期性处理相似规模数据的特点，如销售额日统计、月统计、舆情分析等。与此同时，主流公有云厂商(阿里云ECS、亚马逊EC2、微软Azure)提供了超过100种可选云配置，以云主机实例类型(VM instance type)的方式提供服务。

同时，云服务内部所采用的算法日益复杂，从传统的大数据框架(如Spark，Hadoop等)到深度学习架构。自从2012年在ImageNet图像识别大赛中AlexNet以大幅度的准确率提升一举夺冠，采用深度神经网络进行机器学习的方法成为了研究热点，并在计算机视觉，自然语言处理，推荐系统中取得了巨大的成功。2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97％以上，跟人类的识别准确率几乎没有差别。基于深度神经网络的人工智能项目也被广泛应用到各个生活场景中，包括各种APP的人脸识别，机器翻译，语音识别，电商平台商品推荐等。

目前主流的深度学习应用有卷积神经网络(代表有AlexNet，ResNet，Vgg，DenseNet)、循环神经网络(代表有LSTM，GRU)、对抗网络模型(代表有GAN)、协同过滤模型(代表有NCF)等。与传统大数据应用不同，深度学习应用具有计算量大，数据存储量大，内部通信开销大的特点。一个深度学习应用负载的运行时长可能会长达一周，因此难以多次运行应用负载来搜索最佳配置。总而言之，深度学习应用负载对资源的需求更加多样、运行成本更高、模型更加复杂。这对用户选取云配置的策略提出了更高的要求，也给云配置推荐算法设计带来了困难。同时，微软的研究人员指出现有的人工选择方式为深度学习工作负载选取的配置的GPU利用率不高，均值在50％左右。

选择合适的云配置可以有效提升公有云环境下大数据应用的服务质量Service-Level Agreement(SLA)。实验数据表明，针对同一任务，最佳的云配置相对于最差云配置，在任务完成时间上相差10倍，运行费用相差12倍。因此，研发面向深度学习应用的云配置推荐系统意义重大。