[发明专利]内存管理方法、装置、设备及存储介质

说明书

本申请实施例提供了一种内存管理方法、装置、设备及存储介质，内存管理方法包括：利用中央内存管理器获取数据处理请求，建立数据处理请求所对应的至少一个待写出线程，确定至少一个待写出线程各自对应的本地内存管理器；在本地内存管理器执行待写出线程时，确定待写出线程所对应的内存开销信息，并将待写出线程所对应的内存开销信息发送至中央内存管理器；利用中央内存管理器基于所有待写出线程所对应的内存开销信息进行内存管理操作。本申请所提供的技术方案，能够在高并发多路写出中，解决对内存开销完全无保护的问题，这样不仅有利于稳定系统的内存开销、保证文件写出格式正确，并且有利于提高数据处理操作的质量和效率。

技术领域

本申请涉及内存处理技术领域，尤其涉及一种内存管理方法、装置、设备及存储介质。

背景技术

在大数据系统应用的过程中，高并发多路写出parquet格式文件是非常常见的应用场景，在该场景下，同一时刻多个parquet文件都在写出，这样parquet文件都会在内存中积攒数据，在内存中积攒的数据接近一预设限值时会进行一次数据刷盘操作，这样极大增加了内存消耗峰值，容易导致内存溢出。

发明内容

本申请实施例提供了一种内存管理方法、装置、设备及存储介质，能够解决对内存开销完全无保护的问题，稳定控制整个数据系统的内存开销，保证了内存管理方法使用的安全稳定性。

第一方面，本申请实施例提供了一种内存管理方法，包括：

利用中央内存管理器获取数据处理请求，建立所述数据处理请求所对应的至少一个待写出线程，确定所述至少一个待写出线程各自对应的本地内存管理器；

在本地内存管理器执行所述待写出线程时，确定所述待写出线程所对应的内存开销信息，并将所述待写出线程所对应的内存开销信息发送至中央内存管理器；

利用中央内存管理器基于所有待写出线程所对应的内存开销信息进行内存管理操作。

第二方面，本申请实施例提供了一种内存管理方法，包括：

获取数据处理请求；

建立所述数据处理请求相对应的至少一个待写出线程；

在执行所述至少一个待写出线程时，确定所述至少一个待写出线程各自对应的内存开销信息；

基于所有待写出线程所对应的内存开销信息进行内存管理操作。

第三方面，本申请实施例提供了一种内存管理装置，包括：

第一获取模块，用于获取数据处理请求；

第一建立模块，用于建立所述数据处理请求相对应的至少一个待写出线程；

第一确定模块，用于在执行所述至少一个待写出线程时，确定所述至少一个待写出线程各自对应的内存开销信息；

第一处理模块，用于基于所有待写出线程所对应的内存开销信息进行内存管理操作。

第四方面，本申请实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第二方面所示的内存管理方法。

第五方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第二方面所示的内存管理方法。

第六方面，本发明实施例提供了一种计算机程序产品，包括：存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述第二方面所示的内存管理方法。

第七方面，本发明实施例提供了一种内存管理方法，包括：