[发明专利]消息处理方法、装置、设备及存储介质

说明书

本发明公开了一种消息处理方法、装置、设备及存储介质，涉及人工智能技术领域。本发明从服务端中获取待处理消息，并为所述待处理消息设置对应的消息分区；在所述消息分区中创建消息处理窗口；将所述待处理消息存入所述消息处理窗口；采用多线程机制调用所述消息分区对应的线程对所述消息处理窗口中的待处理消息进行同步处理，克服了提高消息处理速度而导致磁盘性能下降的缺陷，实现了在不增加分区和线程的情况下，提高消息的处理速度。此外，本发明还涉及区块链技术，待处理消息可存储于区块链中。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种消息处理方法、装置、设备及存储介质。

背景技术

kafka的消费一般是一个消费者线程对应一个分区，为了增加集群的消费者处理速度，除了提高单个消息的处理速度之外，目前所采取的常用手段是增加分区和消费者线程，但是太多的分区会增加服务端打开文件的数量，使得kafka集群中用于数据存储的磁盘存在IO竞争，致使磁盘的IO性能下降。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种消息处理方法、装置、设备及存储介质，旨在解决现有技术为了提升消息处理速度会导致磁盘IO的性能下降的技术问题。

为实现上述目的，本发明提供了一种消息处理方法，所述消息处理方法包括以下步骤：

从服务端中获取待处理消息，并将所述待处理消息存储在磁盘存储区中；

在所述磁盘存储区中为所述待处理消息设置相应的消息分区；

根据所述消息分区对应的分区宽度为所述消息分区中的待处理消息创建对应的消息处理窗口；

将所述待处理消息存入所述消息处理窗口；

采用多线程机制调用所述消息分区对应的线程对所述消息处理窗口中的待处理消息进行同步处理。

可选地，所述在所述磁盘存储区中为所述待处理消息设置相应的消息分区，包括：

获取所述待处理消息对应的消息数量；

根据预设划分规则和所述消息数量确定分区数量；

按照所述分区数量在所述磁盘存储区中为所述待处理消息设置对应的消息分区，所述待处理消息或消息数量存储于区块链中。

可选地，所述根据所述消息分区对应的分区宽度为所述消息分区中的待处理消息创建对应的消息处理窗口，包括：

获取所述消息分区中待处理消息对应的消息数量；

根据所述消息数量确定所述消息分区对应的分区宽度；

根据所述分区宽度确定消息处理窗口对应的窗口尺寸；

按照所述窗口尺寸为所述消息分区中的待处理消息创建对应的消息处理窗口。

可选地，所述将所述待处理消息存入所述消息处理窗口，包括：

在所述消息分区中为所述待处理消息设置相应的消息偏移量；

根据所述消息偏移量确定所述待处理消息对应的排列顺序；

按照所述排列顺序将所述待处理消息存入所述消息处理窗口。

可选地，所述采用多线程机制调用所述消息分区对应的线程对所述消息处理窗口中的待处理消息进行同步处理之后，还包括：

获取所述消息处理窗口中当前待处理消息的排列顺序；