[发明专利]一种压测场景的数据隔离方法、装置、设备及存储介质

说明书

本发明公开了一种压测场景的数据隔离方法、装置、设备及存储介质，方法包括：对流入系统网关的全部流量进行切分和路由处理，得到处理后的流量；通过中间件对所述处理后的流量进行识别，其中，具有压测标识的流量为压测流量，没有压测标识的流量为真实流量；将识别出的真实流量输入到业务的主数据库中，将识别出的压测流量产生的数据输入到内存数据库中主数据库。本发明采用所述方法可以做到完全的数据隔离，不会形成脏数据，不会对线上正常用户造成影响，可以直接在线上真实环境中使用，得到真实的性能指标数据，为系统扩容和运营维护提供准确可靠的参考。

技术领域

本发明涉及数据处理领域，尤其涉及一种压测场景的数据隔离方法、装置、设备及存储介质。

背景技术

为了能更真实的评估出整个系统的真实性能水平，需要基于线上真实环境和实际业务场景，通过模拟海量的用户请求，来对整个系统进行压力测试。由于是在线上真实环境中进行压测，那么防止压测数据和流量污染和干扰生产环境是极其重要的。具体来说，为了保证压测行为安全且可控，不会影响用户的正常使用，不会对线上环境造成任何的数据污染。要做到这一点，就需要确保压测流量产生的数据和状态，不能和正常用户的数据和状态混杂在一起，必须做到存储隔离，不能产生脏数据。

常见的性能压测方案中，如果遇到涉及到存储的地方，都需要在业务逻辑中对存储落地相关的代码逻辑进行处理，存储隔离的改造成本很高，特别是涉及到DB数据库隔离，业界通常采用搭建影子数据库的隔离方案，DB预算会是正常预算的2倍以上，且后续也需要持续投入人力进行影子库的维护，压测时跟进数据清理回收等。

目前业界常见性能压测方案中针对数据隔离这块，主要有下面几种方法:

1.在测试环境，利用AB、jemter等接口性能工具，模拟出高并发大流量的性能压力来做测试，不对压测的流量产生的数据单独去新建数据库和数据表，也就是说正常的用户流量数据和压测工具产生的流量数据，都是存储在相同的数据库和数据表中，数据是混在一起的，通常是通过在已有的数据库表中，修改数据表结构增加相关的标签字段，通过标签字段来区分出那些是压测工具产生的数据，那些是正常用户行为产生的数据，这种压测方法不能做到完全的数据隔离，所有的数据都是杂糅在一起的，压测工具产生的流量数据会对数据库造成数据污染，形成脏数据，对正常用户行为和统计报表可能会造成影响，对业务带来的隐患和风险很高，所以这种性能压测方法局限性很大，是不能在真实的线上环境和真实业务场景下使用的，只能是测试人员在测试环境中使用。

2.互联网企业推行实践的全链路压测方案，通过流量打标，在业务全链路上，可以针对压测流量做识别和定制化处理，通过搭建影子数据库，将压测流量产生的数据，单独存储到影子数据库，能避免产生脏数据，对线上业务透明，不影响正常的生产业务逻辑，趋近于真实场景。但是这种方法，成本很高需要投入大量人力改造业务和持续维护，需要业务从整体架构、中间件、存储、环境部署拓扑等全流程上面做定制改造，同时也存在对现有业务造成影响的隐患。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种压测场景的数据隔离方法、装置、设备及存储介质，旨在解决现有数据隔离方法无法做到完全的数据隔离、使用具有局限性以及改造环节多、成本高、对现有业务存在隐患的问题。

为了解决上述技术问题，本发明为解决上述技术问题所采用的技术方案如下：

第一方面，本发明提供一种压测场景的数据隔离方法，其中，包括：

对流入系统网关的全部流量进行切分和路由处理，得到处理后的流量；

通过中间件对所述处理后的流量进行识别，其中，具有压测标识的流量为压测流量，没有压测标识的流量为真实流量；

将识别出的真实流量输入到业务的主数据库中，将识别出的压测流量产生的数据输入到内存数据库中。