[发明专利]用于线上压测数据漏库实时检测的系统、方法及设备

说明书

本发明涉及一种用于线上压测数据漏库实时检测的系统、方法及设备，属于通信技术领域，binlog监控系统对待监控数据库表进行监控内容配置，将监听数据发送至消息中间件；漏库检测执行系统，实时接收binlog监控系统的监听数据，并对比监听数据，判断待监控数据库表中是否发生漏库事件，若待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。实时的监控binlog，当数据库表有数据变化操作时，被监控，对这些数据进行规则比对，从而发现是否有测试数据被错误的写入了正式库表中，整个过程数据都是在binlog监控系统、消息中间件和漏库检测执行系统间实时流转与对比的，从而使线上压测过程中，漏库检查自动化实时化，漏库处理过程及时化与自动化。

技术领域

本发明属于通信技术领域，具体涉及一种用于线上压测数据漏库实时检测的方法、装置及设备。

背景技术

现阶段，在生产环境(线上环境)进行性能压测，特别是进行全链路线上压测试时，通常会大量使用影子数据库表，影子数据库表用于与正式数据库表进行测试数据的隔离。但是，因为各种技术原因，大量的压测数据可能会导致部份或者全部压测数据被错误的写入了正式数据库表，从而污染了真实环境的数据，导致各种生产故障。因此在进行线上环境压测时，有必要实时的检测是否有测试数据被错误的写入了正式数据库表，以便及时的停止压测行为，并快速对进入正式库的错误数据进行清洗纠正，将损失降到最低。

为了解决此技术问题，现有技术中通常体采用如下技术手段：提前准备好对正式库表查询漏库数据的SQL(可以对数据库内容进行查询的标准语言)；开始进行线上压测试；在压测过程中，不断的反复的执行这一批SQL，并对结果进行对比；如果对比的SQL查询结果中包含了测试数据，则停止压测试。

但是，这种技术手段存在如下技术问题：实时性不足；查询是在正式数据库表中执行，会占用正式库表资源，且会大量使用性能低下的like语句，影响正式库表性能；分库分表(线上环境为了提供更好的性能，会将一张数据表拆分成N张数据表，表结构完全相同，表名前缀也相同，只是在表名后缀上会使用数字进行编号扩展区分)很多的情况下，工作量太大，有时甚至是不可能完成的任务。

发明内容

本发明提供了一种用于线上压测数据漏库实时检测的系统、方法及设备，以实现进行线上压测时，自动的检查是否漏库，保证线上压测漏库检查的实时性，准确性与处理漏库情况的及时性；在保证实时性的情况下，对正式库表无性能影响。

本发明提供的技术方案如下：

一方面，一种用于线上压测数据漏库实时检测的系统，包括：binlog监控系统、消息中间件和漏库检测执行系统；

所述binlog监控系统，用于对待监控数据库表进行监控内容配置，获取对应的监听数据，将所述监听数据发送至消息中间件，以及，配置所述监听数据发送到消息中间件的消息队列名称；

所述漏库检测执行系统，用于通过所述消息中间件，实时接收所述binlog监控系统的监听数据，并对比所述监听数据，判断所述待监控数据库表中是否发生漏库事件，若所述待监控数据库表中发生漏库事件，触发报警模块，进行报警，停止压测。

可选的，所述漏库检测执行系统，还用于：配置数据对比规则；以及，根据所述数据对比规则，判断所述待监控数据库表中是否发生漏库事件，若对比的所述监听数据符合所述数据对比规则，则判定所述待监控数据库表中发生漏库事件。

可选的，所述漏库检测执行系统，还用于：上传数据清洗脚本；以及，在所述待监控数据库表中发生漏库事件时，调用所述数据清洗脚本，对所述待监控数据库表内的数据进行清洗。

可选的，所述所述binlog监控系统，包括：binlog监听配置模块、binlog日志监听模块、binlog监听实时数据消息转发模块；

所述binlog监听配置模块，用于对待监控数据库表进行监控内容配置，以及，对所述待监控数据库表的变化进行实时监控；