[发明专利]资源处理方法及其装置、电子设备和介质

说明书

本公开提供了一种资源处理方法，包括：获取第一执行单元的待释放资源，其中，待释放资源已存储至第一执行单元的内存中；查找与待释放资源对应的多个第一数据分段，其中，各第一数据分段处于第一缓存级别，其中，第一缓存级别允许将待释放资源缓存至第一执行单元的内存中；对待释放资源执行第一迁移操作，以将待释放资源从第一执行单元的内存中迁移至本地磁盘中；修改各第一数据分段处于的第一缓存级别为第二缓存级别，其中，第二缓存级别允许将待释放资源存储至第一执行单元的内存中和本地磁盘中；以及释放第一执行单元的待释放资源。另外，本公开还提供了一种资源处理装置、电子设备和介质。

技术领域

本公开涉及一种资源处理方法及其装置、电子设备和介质。

背景技术

Spark涵盖了大数据领域内的离线批处理、流式计算、机器学习和图计算等不同的场景，已经成为大数据计算领域首选的计算框架。由于spark框架的应用越来越广，针对spark任务的优化成为必不可少的一项技能，其中缓存(Cache)是一种简单而有效的方式。

Spark优先考虑内存，如果内存(Memory)不够，再把数据放在本地磁盘。如果数据被Cache到Memory中，Spark的执行单元(Executor)就无法被释放，导致在一个资源混合使用的集群中(比如Spark ThriftServre与Hive共存)，即使在计算任务空闲的情况下也无法释放Spark占用的资源。

现有Spark提供一种动态执行单元(Executor)申请释放的机制，但是受限于Cache，该机制无法正常工作，否则会造成Cache到Memroy的数据丢失，对后续计算的性能有较大影响。

发明内容

本公开的一个方面提供了一种资源处理方法，上述方法包括：获取第一执行单元的待释放资源，其中，上述待释放资源已存储至上述第一执行单元的内存中，查找与上述待释放资源对应的多个第一数据分段，其中，各第一数据分段处于第一缓存级别，上述第一缓存级别允许将上述待释放资源缓存至上述第一执行单元的内存中，对上述待释放资源执行第一迁移操作，以将上述待释放资源从上述第一执行单元的内存中迁移至本地磁盘中，修改上述各第一数据分段处于的上述第一缓存级别为第二缓存级别，其中，上述第二缓存级别允许将上述待释放资源存储至上述第一执行单元的内存中和上述本地磁盘中，以及释放上述第一执行单元的上述待释放资源。

可选地，上述方法还包括：修改针对上述第一执行单元的资源管理信息，以及针对上述第一迁移操作，生成并记录上述第一迁移记录，其中，上述第一迁移记录包括上述各第一数据分段的分段信息和上述第一执行单元的信息。

可选地，上述方法还包括：响应于资源申请请求，获取第二执行单元，获取待迁移资源，其中，上述待迁移资源对应多个第二数据分段，各第二数据分段处于上述第二缓存级别，以及对上述待迁移资源执行第二迁移操作，以将上述待迁移资源从上述本地磁盘中迁移至上述第二执行单元的内存中。

可选地，上述对上述待迁移资源执行第二迁移操作，以将上述待迁移资源从上述本地磁盘中迁移至上述第二执行单元的内存中包括：检测上述第二执行单元的内存提供的资源量是否满足上述待迁移资源所需的资源量，若上述第二执行单元的内存提供的资源量不满足上述待迁移资源所需的资源量，则基于上述第二执行单元的内存提供的资源量和上述待迁移资源所需的资源量，确定能够被迁移至上述第二执行单元的内存中的目标迁移资源，以及对上述目标迁移资源执行第二迁移操作，以将上述待迁移资源从上述本地磁盘中迁移至上述第二执行单元的内存中。

可选地，上述方法还包括：维持上述各第二数据分段处于上述第二缓存级别。

可选地，上述方法还包括：若上述第二执行单元的内存提供的资源量满足上述待迁移资源所需的资源量，则修改上述各第二数据分段处于的上述第二缓存级别为上述第一缓存级别。