[发明专利]分布式文件系统的性能测试方法、装置、设备及介质

权利要求书

1.一种分布式文件系统的性能测试方法，其特征在于，所述方法包括：

采用大数据的方式，获取至少两个待测试任务；

通过Airflow平台对每个所述待测试任务进行任务解析，得到任务要素组成，并基于所述任务要素组成，采用有向无环图的方式，生成所述待测试任务的调度策略；

基于所述调度策略，依次对每个所述待测试任务进行压测处理，得到处理结果；

对每个所述处理结果进行汇总，得到压测结果。

2.根据权利要求1所述的分布式文件系统的性能测试方法，其特征在于，所述基于所述调度策略，依次对每个所述待测试任务进行压测处理，得到处理结果包括：

对所述待测试任务进行分片处理，得到N个基础分片数据；

按照预设的负载均衡分配方式，从节点集合中选取至少一个目标节点，并将所述基础分片数据分配给所述目标节点执行压测处理；

对每个所述目标节点的压测处理的结果进行汇总，得到所述处理结果。

3.根据权利要求2所述的分布式文件系统的性能测试方法，其特征在于，所述对所述待测试任务进行分片处理，得到N个基础分片数据包括：

获取所述基础任务数据的数据记录的条数，并对每条所述数据记录进行顺序编号；

针对每条所述数据记录，使用该数据记录的编号对所述分片数目N进行取模运算，得到该数据记录的编号模；

将编号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础分片数据，得到N个所述基础分片数据。

4.根据权利要求2所述的分布式文件系统的性能测试方法，其特征在于，所述将所述基础分片数据分配给所述目标节点执行压测处理包括：

基于节点的配置和当前资源使用数据，确定节点当前进行数据处理的有效数据量；

若所述基础分片数据中的数据量大于所述有效数据量，则按照预设维度，对所述基础分片数据进行数据分割，得到K个目标分片数据；

使用线程池的方式，对K个所述目标分片数据执行所述处理指令，得到压测处理的结果。

5.根据权利要求2所述的分布式文件系统的性能测试方法，其特征在于，所述按照预设的负载均衡分配方式，从节点集合中选取至少一个目标节点包括：

通过集群通信的方式，对集群中每个节点进行活性探测，得到节点状态；

将所述节点状态为激活的节点，作为有效节点；

针对每个所述有效节点，对所述有效节点进行健康检查，得到检查结果；

获取所述基础分片数据对应的应用的实际物理地址，并读取每个所述有效节点的实际物理地址，基于所述基础分片数据对应的实际物理地址与所述有效节点的实际物理地址，确定所述基础分片数据与每个所述有效节点的物理距离；

基于每个所述有效节点的检查结果和每个所述物理距离，确定目标节点。

6.根据权利要求5所述的分布式文件系统的性能测试方法，其特征在于，所述基于每个所述有效节点的检查结果和每个所述物理距离，确定目标节点包括：

针对每个所述物理距离，对所述物理距离进行归一化处理，将得到的结果作为所述物理距离对应有效节点的距离权重；

基于每个所述有效节点的检查结果，得到所述有效节点的健康评分；

针对每个所述有效节点，根据所述距离权重和所述健康评分，采用预设方式，计算所述有效节点的匹配评分；

获取匹配评分的分值最大的有效节点，作为所述目标节点。

7.一种分布式文件系统的性能测试装置，其特征在于，所述装置包括：

任务获取模块，用于采用大数据的方式，获取至少两个待测试任务；

策略生成模块，用于通过Airflow平台，对每个所述待测试任务进行任务解析，得到任务要素组成，并基于所述任务要素组成，采用有向无环图的方式，生成所述待测试任务的调度策略；

压测处理模块，用于基于所述调度策略，依次对每个所述待测试任务进行压测处理，得到处理结果；

结果确定模块，用于对每个所述处理结果进行汇总，得到压测结果。