[发明专利]一种流数据负载的弹性资源配置方法及系统

说明书

本发明涉及云计算领域，公开了一种流数据负载的弹性资源配置方法及系统，以基于实时预测流数据的负载的基础上提高资源配置中的资源利用率；本发明的方法包括：获取历史流数据作为训练集，并将训练集划分为三个子集；获取实时流数据以分别更新三个子集，根据三个子集得到在线且动态更新的SVR预测模型，并采用SVR预测模型对流数据负载进行预测；计算云计算系统中流数据系统的吞吐量，根据吞吐量设置吞吐量阈值；将预测结果与负载阈值进行比较，当流数据负载预测结果大于吞吐量阈值时，流数据系统增加相应的虚拟机个数；当流数据负载预测结果小于吞吐量阈值时，流数据系统减少相应的虚拟机个数。

技术领域

本发明涉及云计算领域，尤其涉及一种流数据负载的弹性资源配置方法及系统。

背景技术

随着互联网、物联网及大数据技术的发展,流数据即无限、实时、动态的流形式数据越来越多地出现及应用在金融分析、社交媒体、传感器、网站踪、大规模科学实验等领域，流数据被快速分析才能获取到最大的价值。传统的数据管理系统无法实时处理此类无穷、实时、有序、大规模的流数据。

云计算的按需供给服务通过管理、调度与整合分布在网络上的各种资源，以统一的界面为大量用户提供服务，用户则按需计量地使用这些服务。将计算、存储、软件等各种数据中心资源作为一种公用设施来提供，用户根据自己的需要使用，按照使用资源付费，给流处理系统资源弹性分配提供了技术支持。云计算弹性资源分配方法主要有水平调整、垂直调整和迁移三种方式。水平调整是从用户的虚拟机环境中添加或移除应用程序、容器或虚拟机，该方法是目前应用最广泛的弹性资源分配方法；垂直调整是为虚拟机等实例添加或删除CPU、内存等资源；迁移则将物理服务器上运行的虚拟机或应用程序转移至其他服务器中。弹性资源分配中触发弹性操作时机的方法可以分为主动式和反应式两类，主动式则是使用工作负载预测技术来确定未来工作负载何时会超过当前资源配置容量，并在容量超出前调用算法分配额外的资源；反应式不进行预测，通过监控负载变化，并利用资源利用率或服务等级协议(Service-Level Agreement，简称SLA协议)违约的阈值来触发弹性分配。

尽管云资源弹性调整已有多种技术的支持，但是弹性扩展需要较大的时间开销，对于处理实时突变的流数据负载来说效率不高。为了提高云服务的服务质量应该减少云资源配置时间，而数据负载预测正是降低资源配置延迟的有效方法，但在流数据负载预测时面临着诸多挑战，如预测算法无法很好的适应流数据突发情况。

发明内容

本发明目的在于提供一种流数据负载的弹性资源配置方法及系统，以基于实时预测流数据的负载的基础上提高资源配置中的资源利用率。

为实现上述目的，本发明提供了一种流数据负载的弹性资源配置方法，包括以下步骤：

S1：获取历史流数据作为训练集，并将所述训练集划分为三个子集，包括错误支持样本集、支持样本集、以及保留样本集；

S2：获取实时流数据以分别同步更新所述三个子集，根据所述三个子集得到在线且动态更新的SVR预测模型，并采用所述SVR预测模型对流数据负载进行预测；

S3：计算云计算系统中流数据系统的吞吐量，根据所述吞吐量设置吞吐量阈值；

S4：将所述S2中的流数据负载预测结果与所述S3中的所述吞吐量阈值进行比较，当所述流数据负载预测结果大于所述吞吐量阈值时，流数据系统增加相应的虚拟机个数；当所述流数据负载预测结果小于所述吞吐量阈值时，所述流数据系统减少相应的虚拟机个数。

优选地，所述S2中根据所述三个子集得到在线且动态更新的SVR预测模型之前还包括步骤：

同步更新三个子集后，删除保留样本集中的样本及对应的样本权重，然后更新错误支持样本集的样本权重和支持样本集的样本权重。

优选地，所述S2中，采用所述SVR预测模型对流数据负载进行预测具体包括：