[发明专利]一种检查核对消费系统消费消息的方法、装置及设备

说明书

本发明公开了一种检查核对消费系统消费消息的方法、装置及设备，该方法包括：启动消费程序，初始化相关变量，从消息中间件中拉取消息，根据拉取到的消息进行业务处理，根据业务处理结果对相关变量进行相应计算；判断业务处理过程中是否发生异常；若未发生异常，则判断当前检查周期是否结束，若当前检查周期未结束，继续从消息中间件中拉取消息进行业务处理；若当前检查周期结束，根据相关变量判断当前检查周期内处理的消息数量和从消息中间件拉取的消息数量的一致性，若不一致则进行告警处理；告警处理完成后，结束当前检查周期，更新相关变量并进入下一检查周期。

技术领域

本发明涉及软件开发领域，尤其涉及一种检查核对消费系统消费消息的方法、装置及设备。

背景技术

消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中，不同的对象之间通过传递消息来激活对方的事件，完成相应的操作。

消息中间件在拥有解耦、削峰等优势的同时带来了一些不可避免的劣势，比如系统稳定性降低、分布式一致性、消息重复消费、消息丢失、消息传递顺序不能保证、多个系统消费存在部分成功部分失败、数据不一致等问题。为了保证数据消费的一致性，需要核对消费条数和业务处理条数，目前往往都是在相关人员提出问题后基于日志和业务单号进行一个补救的排查，所以需要一种核对方案来代替人工排查。

评价核对机制方案的优劣，主要依据该方案是否可以及时主动的发现问题，并在发现问题后方便快捷的使用告警信息进行后续的排查和重新消费等补救措施。常规的核对方案存在如下缺点：

1、存在问题排查人员在接到相关问题后，需要的日志已经被删除，无法定位的可能；

2、不支持定期化、例行化的核对行为；

3、不支持消息丢失主动告警功能，只有被动的补救行排查，被动补救存在一定的滞后性；

4、未记录已消费到消息的元数据相关信息(偏移量、分区等)，在发现问题时无法快速的进行相关消息重新消费等补救措施；

5、不支持基于现有日志信息做一些基础的统计分析工作。

发明内容

本发明提供了一种检查核对消费系统消费消息的方法、装置及设备，解决了上述问题。

一种检查核对消费系统消费消息的方法，包括：

启动消费程序，初始化相关变量，从消息中间件中拉取消息，根据拉取到的所述消息进行业务处理，根据业务处理结果对所述相关变量进行相应计算；

判断所述业务处理过程中是否发生异常；

若未发生异常，则判断当前检查周期是否结束，若所述当前检查周期未结束，继续从所述消息中间件中拉取消息进行业务处理；

若当前检查周期结束，根据所述相关变量判断当前检查周期内处理的消息数量和从所述消息中间件拉取的消息数量的一致性，若不一致则进行告警处理；

告警处理完成后，结束当前检查周期，更新所述相关变量并进入下一检查周期。

在本发明的一种实施例中，启动消费程序后，所述方法还包括：记录当前检查周期内从消息中间件中拉取到的第一条消息的偏移量作为初始消息偏移量；初始化业务处理条数数组，确定所述业务处理条数数组中每个元素对应的业务场景；所述业务处理条数数组为一维数组；初始化检查计数器；初始化预设的检查周期步长。

在本发明的一种实施例中，所述根据业务处理结果对所述相关变量进行相应计算，具体包括：确定当前处理的消息所属的业务场景，根据当前消息的处理结果累加所述业务处理条数数组中与所述业务场景对应的数组元素的值；累加所述检查计数器。