[发明专利]文件读取测试方法和装置有效
申请号: | 201910231532.9 | 申请日: | 2019-03-26 |
公开(公告)号: | CN109947613B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 刘朋;李莅 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/22 | 分类号: | G06F11/22;G06F11/263;G06F3/06 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 读取 测试 方法 装置 | ||
本申请实施例公开了文件读取测试方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:通过多个第一资源调度单元向存储系统写入文件,基于第一资源调度单元的标识生成文件记录并添加至文件记录列表中,每条文件记录用于记录通过对应的一个第一资源调度单元写入的至少一个文件;对文件记录列表中所记录的所有文件进行分片,得到多个文件分片,每个文件分片中的全部文件来自同一条文件记录;根据读测试的类型将文件分片分配至已创建的第二资源调度单元,并通过第二资源调度单元读取分配的文件分片。该实施有效降低了文件写入时用于记录写入文件的列表消耗的内存,能够支持海量文件的读测试。
技术领域
本申请实施例涉及计算机技术领域,具体涉及文件存储系统领域,尤其涉及文件读取测试方法和装置。
背景技术
QPS(Queries Per Second,每秒查询次数)是存储性能的一个重要指标。目前存储系统读请求的QPS测试步骤为:向存储系统中预先写入大量的文件,并将已写入的文件的名称记录在文件名列表中;从文件名列表中选取文件名称作为读测试的输入,进行读取,获取读请求的QPS性能。
上述读请求的QPS测试方法中,为了记录文件名列表,测试工具需要占用一定的内存或磁盘空间。在文件数量较多时,所占用的内存或磁盘空间较大,在应用于海量文件的读测试时,需要消耗大量的系统资源。
发明内容
本申请实施例提出了文件读取测试方法、装置、电子设备和计算机可读介质。
第一方面,本公开的实施例提供了一种文件读取测试方法,包括:通过多个第一资源调度单元向存储系统写入文件,基于第一资源调度单元的标识生成文件记录并添加至文件记录列表中,每条文件记录用于记录通过对应的一个第一资源调度单元写入的至少一个文件;对文件记录列表中所记录的所有文件进行分片,得到多个文件分片,每个文件分片中的全部文件来自同一条文件记录;根据读测试的类型将文件分片分配至已创建的第二资源调度单元,并通过第二资源调度单元读取分配的文件分片。
在一些实施例中,上述对文件记录列表中所记录的所有文件进行分片,得到多个文件分片,包括:基于文件记录列表中所记录的文件的总数、预设的第二资源调度单元的数量、以及根据读测试的类型预先确定的每个第二资源调度单元分配的文件分片的数量,确定每个文件分片中的文件数量;基于每个文件分片中的文件数量对文件记录列表中所记录的文件进行分片,得到多个文件分片;根据各文件分片对应的第一资源调度单元的标识和文件数量生成各文件分片的文件分片记录。
在一些实施例中,上述文件分片记录包括对应的第一资源调度单元的标识、分片中起始文件的编号、分片中末尾文件的编号,以及分片中读测试的起始测试文件编号。
在一些实施例中,上述读测试类型包括顺序读取,分片中读测试的起始测试文件编号与分片中起始文件的编号一致;根据读测试的类型将文件分片分配至已创建的第二资源调度单元,并通过第二资源调度单元读取分配的文件分片,包括:将文件分片记录对应的文件分片顺序分配至各第二资源调度单元;对于分配至第二资源调度单元的每个文件分片,从分片中的读测试的起始测试文件编号开始,依次顺序读取文件分片的所有文件,之后从下一个文件分片中的读测试的起始测试文件编号开始,依次顺序读取下一个文件分片的所有文件。
在一些实施例中,上述读测试类型包括随机读取,分片中读测试的起始测试文件编号为分片中起始文件的编号至末尾文件的编号区间内的一个编号;上述根据读测试的类型将文件分片分配至已创建的第二资源调度单元,并通过第二资源调度单元读取分配的文件分片,包括:按照满足预先确定的每个第二资源调度单元分配的文件分片的数量,随机地将文件分片分配至各第二资源调度单元;对于分配至每个第二资源调度单元的文件分片,按照如下方式进行读取:循环执行依次从每个文件分片中读取一个分片的操作,并且,对于每个文件分片中的多个文件,以文件分片中读测试的起始测试文件编号所指示的文件为读取的第一个文件顺序读取分片中的所有文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910231532.9/2.html,转载请声明来源钻瓜专利网。