[发明专利]一种针对图数据库及图服务接口进行分布式压测系统及方法在审
申请号: | 202010203185.1 | 申请日: | 2020-03-20 |
公开(公告)号: | CN111552628A | 公开(公告)日: | 2020-08-18 |
发明(设计)人: | 刘利民 | 申请(专利权)人: | 北京海致星图科技有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36 |
代理公司: | 北京化育知识产权代理有限公司 11833 | 代理人: | 尹均利 |
地址: | 100000 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 数据库 服务 接口 进行 分布式 系统 方法 | ||
1.一种针对图数据库及图服务接口进行分布式压测系统,其特征在于:包括接入层模块、计算引擎模块、存储层模块、压测日志分析模块、前端展示模块、管理模块以及分布式资源管理模块;
所述接入层模块用于为所述计算引擎模块提供发送数据源;所述计算引擎模块在接收到所述计接入层模块发送的数据源后,通过分布式的方式对接收到的数据进行处理,并在处理过程中采集系统日志或接口日志以及配置信息,并将采集的系统日志或接口日志以及配置信息写入所述存储层模块;
在所述系统日志或接口日志以及配置信息存储完毕后,所述管理模块将会监控所述系统日志或接口日志以及配置信息存储任务的完成成功与否,如果完成成功,所述压测日志分析模块将会读取所述系统日志或接口日志以及配置信息进行压测统计分析,如果所述系统日志或接口日志以及配置信息存储任务是通过实时的方式,则会实时统计分析结果,并将其实时统计的分析结果展示至所述前端展示模块;
所述分布式资源管理模块用于负责分布式压测集群资源分配及管理以协调各个项目侧之间的压测任务。
2.根据权利要求1所述的一种针对图数据库及图服务接口进行分布式压测系统,其特征在于:所述分布式压测集群资源包括CPU总核数、内存总量以及磁盘总量。
3.根据权利要求1所述的一种针对图数据库及图服务接口进行分布式压测系统,其特征在于:所述计算引擎模块包括控制中心模块、资源管理模块以及任务管理模块;
所述控制中心模块为Metal Control Center,所述资源管理模块为MetalResourceManager即MetalStrom的资源管理器,所述任务管理模块为MetalTaskManager即MetalStorm的任务管理器;
所述Metal Control Center用于接收并收集MetalResourceMan ager的心跳及日志信息、用于接收并收集MetalTaskManager的心跳及日志信息、用于处理客户端任务请求分配,读取主程序并将主程序提交至MetalTaskManager,再由MetalStorm执行主程序进行压测;
所述MetalResourceManager用于负责给提交的任务的资源进行分配和回收、用于与控制中心通信,将资源分配情况发送给控制中心;
所述MetalTaskManager用于负责任务的管理,包括执行和kill、用于与控制中心通信,将任务的执行情况发送给控制中心。
4.根据权利要求1所述的一种针对图数据库及图服务接口进行分布式压测系统,其特征在于:还包括客户端、计算引擎端以及被压测端;
所述客户端用于负责客户端展示、提交任务展示、报表展示以及可视配置;
所述计算引擎端用于负责客户端提交任务,并审核该任务的可行性以及执行该任务;
所述被压测端包括服务端接口和数据库。
5.一种针对图数据库及图服务接口进行分布式压测方法,其特征在于:包括如下步骤:
步骤一、操作客户端,操作客户端包括三种操作方式,分别如下:
第一种、配置普通的http请求参数,此时又有两种选择,当不选择指定数据源时,此时提交的压测任务请求方式将会单一化,也就是每次请求的数据的内容都是一至的,这种情况用于测试服务端接口的连通,可行性,以及QPS的支撑量;
当选择了指定数据源,此时提交的压测任务请求将会读取该数据源,在后续的压测请求中将会以该数据源为样例,只要准备的数据源中数据不一致,那么每次请求的数据将也会不一致,这种场景用于测试服务端接口的稳定性,可行性,以及QPS的支撑或链路业务需求,但相对于单一化的提交请求,唯一需要多做的是需要事先准备好数据源,此外这种方式也用于数据库压测;
第二种、配置可执行jar,可通过可执行jar根据业务的实际场景源源不断的造出不同的数据,提交了可执行jar后,后续的数据流程中将会有模块执行该jar。
第三种、客户端提交还涉及一个核心功能压力测试就是图数据库及图服务接口,该选项将在前端的单选框中选择,选项有【图数据库】【图服务接口】,当选择了图数据库选项时,必须上传可执行jar,此时系统会自动配置金融银行的数据源模型作为后续执行器的数据来源;
步骤二、创建分布式实例
读取数据源,如果是单机,则将数据源放到本地,如果是分布式集群,则将数据存储在hdfs分布式文件系统中,需要将文件以hash分块的方式,通过scp或ftp服务输出至集群中的其它机器;
获取数据源,获取到数据源后将会创建数据请求;
请求过程,在被压测端的服务器上部署日志采集器用于采集被压测端的性能参数,然后写入到消息列队或分布式文件系统中;
获取结果,通过查看压测报告即可。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京海致星图科技有限公司,未经北京海致星图科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010203185.1/1.html,转载请声明来源钻瓜专利网。