[发明专利]基于内存映射的消息处理方法、装置、系统和存储介质

说明书

本发明公开了一种基于内存映射的消息处理方法、装置、系统和存储介质其中，该方法包括：将消息存储到存储主文件，其中，所述存储主文件唯一；基于内存映射将所述消息刷入磁盘以及发送到从节点；根据所述内存映射内所述消息生成响应信息并反馈。本发明实施例基于内存映射的消息处理，降低了文件分区导致的消息处理性能下降，通过内存映射提高文件与磁盘之间的消息交互处理，可提高处理效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于内存映射的消息处理方法、装置、系统和存储介质。

背景技术

随着互联网的技术进步，数据逐渐遍布生活的方方面面，因此对数据如何快速安全的存储成为当前研究的重点。基于消息队列对数据进行存储，存储过程符合顺序写的特点，支持批量操作，使得数据的读取效率更高。消息队列的存储特点是新数据为热点数据，老数据为冷数据，内存中存储的数据需要定时刷盘实现持久化存储。

然而现有kafka等消息队列存储方法，在处理数据存储时存在一些问题，存储分区过多，导致数据存储效率会随着存储分区的增多而快速下行，负载平衡消费抖动过大，并且在负载平衡过程中集群节点不可用。

发明内容

本发明提供一种基于内存映射的消息处理方法、装置、系统和存储介质，以实现数据的快速存储，提高存储效率，减少数据存储过程的负载均衡时间，提高数据存储的可用性。

第一方面，本发明实施例提供了一种基于内存映射的消息处理方法，应用于主节点，该方法包括：

将消息存储到存储主文件，其中，所述存储主文件唯一；

基于内存映射将所述消息刷入磁盘以及发送到从节点；

根据所述内存映射内所述消息生成响应信息并反馈。

第二方面，本发明实施例提供了一种基于内存映射的消息处理方法，应用于从节点，该方法包括：

获取主节点发送的消息，并将所述消息存储到存储主文件；

生成所述消息的反馈信息，并将所述反馈信息发送到所述主节点。

第三方面，本发明实施例提供了一种基于内存映射的消息处理装置，应用于主节点，所述装置包括：

文件存储模块，用于将消息存储到存储主文件，其中，所述存储主文件唯一；

内存映射模块，用于基于内存映射将所述消息刷入磁盘以及发送到从节点；

信息反馈模块，用于根据所述内存映射内所述消息生成响应信息并反馈。

第四方面，本发明实施例提供了一种基于内存映射的消息处理装置，应用于从节点，所述装置包括：

消息同步模块，用于获取主节点发送的消息，并将所述消息存储到存储主文件；

反馈信息模块，用于生成所述消息的反馈信息，并将所述反馈信息发送到所述主节点。

第五方面，本发明实施例提供了一种系统，该系统包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的基于内存映射的消息处理方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行实现如本发明实施例中任一所述的基于内存映射的消息处理方法。