[发明专利]一种文件聚合特性测试方法及装置

说明书

本申请实施例公开了一种文件聚合特性的测试方法及装置，首先由服务器根据测试需求创建测试组件，然后根据测试组件中的测试集群配置信息组建测试集群，该测试集群中包括至少两个测试节点，并将测试脚本以及测试任务调度信息发送给该测试集群，以使得该测试集群中的测试节点根据测试任务调度信息执行该测试集群对应的测试脚本，完成文件聚合特性的测试，同时测试节点将测试日志消息发送给服务器，由服务器根据测试日志消息判断测试集群的文件聚合特性。可见，通过本申请提供的测试方案，可以通过服务器管理和部署测试集群，然后由测试集群中测试节点执行测试脚本，无需用户手动部署测试集群，实现文件自聚合特性的自动化测试，提高测试效率。

技术领域

本申请涉及计算机技术领域，具体涉及一种文件聚合特性测试方法及装置。

背景技术

随着大数据和云计算的快速发展，随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。海量小文件的数据读取时，往往每个小文件的大小都小于一次数据传输的最小块大小。也就是无论真正有用的数据量多大，都会获取固定大小的数据，这使得有用数据占获取数据量比例过低，从而导致内存、带宽的浪费。

为解决海量小文件存储问题，提出小文件聚合技术。小文件聚合技术可以将碎片化小文件聚合成一个大文件，在数据读写时提前读取相关数据，提高缓存命中率，有效降低小文件写入磁盘次数、减轻写数据压力；提高磁盘使用率，读小文件时将所在对象读入缓存，提高读命中率、缩短读I/O路径。

在现有技术中，为保证分布式存储系统可以正常运行小文件聚合技术，需要对系统中的文件聚合特性进行测试，以保证系统中的存储节点可以支持文件聚合技术，目前，主要采用手动测试方法。当系统中包括上百个存储节点时，需要测试人员手动部署测试集群，需要浪费大量的时间，而且由于人工操作容易出现一些误操作，影响测试结果。

发明内容

有鉴于此，本申请实施例提供一种文件聚合特性测试方法及装置，以实现自动测试存储节点的文件聚合特性，提高测试效率。

为解决上述问题，本申请实施例提供的技术方案如下：

本申请第一方面提供了一种文件聚合特性测试方法，所述方法用于测试分布式存储系统的文件聚合特性，所述方法包括：

根据测试需求创建测试组件；所述测试组件包括测试集群配置信息和测试任务调度信息；

将存储资源池中的至少两个空闲存储节点作为测试节点，并根据所述测试集群配置信息，组建测试集群；所述测试集群包括至少两个测试节点；

将测试脚本和所述测试任务调度信息发送至所述测试集群，以使得所述测试节点根据所述测试任务调度信息执行所述测试脚本；所述测试脚本为所述测试集群对应的测试脚本；

接收测试节点发送的测试日志信息，根据所述测试日志信息判断所述测试集群的文件聚合特性。

在一种可能的实现方式中，所述将测试脚本和所述测试任务调度信息发送至所述测试集群之前，包括：

在所述测试集群中确定主测试节点；所述主测试节点为所述测试集群中的一个测试节点；

将测试脚本和所述测试任务调度信息发送至所述主测试节点，以使得所述主测试节点根据所述测试任务调度信息执行所述测试脚本；

所述接收测试节点发送的测试日志信息，根据所述测试日志信息判断所述测试集群的文件聚合特性，包括：

接收所述主测试节点发送的测试日志信息，根据所述测试日志信息判断所述测试集群的文件聚合特性。

在一种可能的实现方式中，所述将存储资源池中至少两个空闲存储节点作为测试节点，并根据所述测试集群配置信息，组建测试集群，包括：

监控所述存储资源池中所述存储节点的状态；