[发明专利]一种在/离线服务混合部署的方法、集群系统及电子设备

说明书

本发明涉及互联网技术领域，公开了一种在/离线服务混合部署的方法、集群系统及电子设备，所述的一种在/离线服务混合部署的方法，包括：将在线服务、离线服务混合部署在各集群服务器上；分别对在线服务、离线服务的执行单元进行不同注解或者标签；各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。本发明的在/离线服务混合部署的方法解决在/离线混合部署情况下离线服务对在线服务的性能产生干扰的问题；又解决了离线服务弹性扩展能力不足的问题，从而大幅提高集群的整体CPU利用率和离线服务的弹性扩展能力。

技术领域

本发明涉及互联网技术领域，具体的涉及一种在/离线服务混合部署的方法、集群系统及电子设备。

背景技术

在线服务，是指利用信息技术，实时对用户或是第三方提供的服务。为了保障良好的用户体验，通常具备高并发、低延时的特点，对延时很敏感，存在周期性的高峰和低谷，典型的有电商系统、直播系统和广告业务。

离线服务，是指需要一段时间的后台计算，非实时响应的服务，比如批处理任务、大数据离线运算等。离线服务通常是计算密集型任务，对时延不敏感，对计算机运算能力的消耗比较大，典型的有Hadoop的MapReduce和Spark任务。

在互联网领域，在线服务和离线服务是普遍存在的两种服务，在线服务集群为了应对周期性的业务高峰，储备了较多的计算资源，CPU平均利用率通常在20％以下，而离线服务集群，因为密集计算的任务较多，CPU平均利率通常在50％以上。

由于离线服务的CPU消耗较大，通常为了保证在线服务的性能不受影响，会将在线服务和离线服务分开部署，以避免离线服务对在线服务产生干扰。但是在这两类服务分开部署的情况下，计算资源不能得到充分利用，如在线服务集群的CPU平均利用率为20％，则有80％的算力无法得到利用，存在较多的资源浪费。

现有的在线服务和离线服务分开部署的示意参见图1所示，整体CPU利用率较低，存在较多的计算资源浪费。

另外，传统的离线服务单独部署的模式，弹性扩展能力存在不足，扩容时需要先购买单独的服务器，再部署离线服务，然后注册到离线集群中，整个流程耗时较长。

在互联网技术领域，本申请的方案解决以下问题：

1.解决在/离线混部情况下离线服务对在线服务的性能产生干扰的问题，从而使混部成为可能，进而解决集群整体CPU利用率不足的问题。

2.解决离线服务弹性扩展能力不足的问题。

有鉴于此，特提出本发明。

发明内容

为了解决以上问题，本发明提出了一种在/离线服务混部的解决方案，解决了同一台计算机上离线服务对在线服务的性能产生干扰的问题，又解决了离线服务弹性扩展能力不足的问题，从而大幅提集群的整体CPU利用率和离线服务的弹性扩展能力。

为了实现上述发明目的，本发明提供了以下技术方案：

一种在/离线服务混合部署的方法，包括：

将在线服务、离线服务混合部署在各集群服务器上；

分别对在线服务、离线服务的执行单元进行不同注解或者标签；

各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

作为本发明的可选实施方式，所述各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略包括：