[发明专利]海量数据分级存储评测系统

摘要

海量数据分级存储评测系统属于计算机系统评测领域，尤其涉及其中分级存储系统评测领域。本发明的特征在于通过快照还原一个真实的文件系统场景，同时通过比较相邻两快照之间的差别确定后续将要被访问的文件；根据两快照间文件属性信息的不同和已有的文件访问特征对文件访问请求进行加密处理，从而提供一个真实的文件系统场景及相应的后续文件访问请求，并将文件访问请求在生成的文件系统场景上进行播放，模拟真实环境中分级存储系统的应用情况，最终有效的实现对分级存储系统的评测与分析。

主权项

海量数据分级存储评测系统其特征在于：由在一台计算机中的快照还原模块、文件系统访问场景信息还原模块、文件访问请求加密模块和文件访问请求播放模块共同组成，其中：快照还原模块依次按照以下步骤生成快照描述文件和原始的文件系统访问请求：步骤(1.1)从copy‑on‑write模式的快照信息中得到除文件内容以外的、指定日期的快照描述信息，包括：文件路径名、是否是目录、文件最近访问时间、文件最近修改时间、文件大小、文件所属用户和文件所属用户组，生成快照描述文件；步骤(1.2)按上一步骤生成原始的文件系统访问请求，每个文件访问请求包括：访问类型、文件路径名、是否是目录、访问起始地址、版本号差值、所属用户信息、所属用户组信息、请求处理的数据大小和执行时间，所述文件访问类型包括：文件读、文件写、文件创建、文件删除，版本号差值表示在相邻两快照之间版本号的差值：步骤(1.2.1)在相邻、连续的快照A和快照B中，读取快照A中的一个文件；步骤(1.2.2)判断步骤(1.2.1)所读文件在所述快照B中是否存在：若：不存在，便在所述快照A和快照B的时间点之间生成删除请求，转入步骤(1.2.4)，若：存在，则判断文件在快照A中的最近访问时间是否小于文件在快照B中的最近访问时间：若：是，则生成(1.2.1)所述文件的写请求，转步骤(1.2.3)，若：不是，则转步骤(1.2.3)；步骤(1.2.3)判断步骤(1.2.1)中所读文件在快照A中的最近修改时间是否小于文件在快照B中的最近修改时间：若：是，则生成步骤(1.2.1)中所述文件的读请求，转步骤(1.2.4)，若：不是，则转步骤(1.2.4)；步骤(1.2.4)判断快照A中的文件是否全被判断过：若：是，则转步骤(1.3)，若：不是，则返回步骤(1.2.1)；步骤(1.3)，则读取快照B中未被判断过的文件，并生成所述文件的创建请求，按照以下步骤处理所述文件：步骤(1.3.1)判断快照B中文件的最近访问时间是否小于文件的最近修改时间：若：是，则生成所述文件的写请求，若：不是，则生成所述文件的读请求；步骤(1.3.2)判断快照B中的所有文件是否全被判断过：若：不是，则转步骤(1.3)，若：是，则本流程结束；文件系统场景信息还原模块，依次按照以下步骤还原文件系统的场景信息：步骤(2.1)在所述快照还原模块中读取已形成的快照描述文件中的一条文件记录；步骤(2.2)判断步骤(2.1)中读取的记录中的文件的最近访问时间是否大于文件的最近修改时间：若：是，则根据步骤(2.1)中所读取的文件记录中的文件最近修改时间修改计算机系统时间，并创建此文件，而后根据步骤(2.1)中所读取的文件记录中的文件最近访问时间修改计算机系统时间，执行一次对所创建文件的读请求，若：不是，则根据步骤(2.1)中所读取的文件记录中的文件最近访问时间修改计算机系统时间，并创建此文件，而后根据步骤(2.1)中所读取的文件记录中的最近修改时间修改计算机系统时间，执行一次对所创建文件的写请求；步骤(2.3)判断是否快照描述文件中的所有记录都已处理：若：不是，则转步骤(2.1)，若：是，则本流程结束；文件访问请求加密模块按照以下步骤进行对读请求和写请求的加密：步骤(3.1)确定文件的读写请求的次数，步骤如下：步骤(3.1.1)读取原始文件系统访问请求中一条记录；步骤(3.1.2)判断步骤(3.1.1)所读记录中的访问类型：若：是写请求，则将步骤(3.1.1)所读记录中的版本号差值作为此文件访问记录相关文件的写访问次数，若：是读请求，则将步骤(3.1.1)所读记录中的版本号差值的4倍作为此文件访问记录相关文件的读访问次数；步骤(3.1.3)判断原始文件记录是否已经读完：若：不是，则转到步骤(3.1.1)，若：是，则转步骤(3.2)；步骤(3.2)确定读写访问的分布，步骤如下：步骤(3.2.1)读取经过步骤(3.1)处理后的原始文件系统访问请求中的一条记录；步骤(3.2.2)判断步骤(3.2.1)所读取记录的访问类型：若：是写请求，则在原始文件系统访问请求中执行时间最早记录的执行时间和这个写请求的执行时间之间随机确定一个时间点，并以此时间点作为中心，同时向两个时间边界每隔1/P秒判断是否在这个时间点添加一个相关文件的写请求，直到添加的写请求个数达到在步骤(3.1)中确定的访问个数或达到时间边界为止，其中P值初始设置为1，而后每增加一个时间间隔，P＝P×0.95；若：是读请求，则在原始文件系统访问请求中执行时间最早记录的执行时间和这个读请求的执行时间之间随机确定一个时间点，并以此时间点作为中心，同时向两个时间边界每隔1/P秒判断是否在这个时间点添加一个相关文件的读请求，直到添加的读请求个数达到在步骤(3.1)中确定的访问个数或达到时间边界为止，其中P值初始设置为1，而后每增加一个时间间隔，P＝P×0.95；步骤(3.3)确定读写数据的大小，步骤(3.3.1)读取经过步骤(3.2)处理后的文件访问请求中的一条记录；步骤(3.3.2)判断步骤(3.2)中所读记录的访问类型，若：是读请求，按照预先设定的概率Ps确定对此记录相关文件的读访问是顺序读还是随机读，若：是顺序读，则设置第一个对此文件的读起始位置为S＝0，读数据大小为T＝1K Byte，而后读取此文件后续的文件读请求，并将读起始位置设置为S＝S+T，读取数据大小为T＝T，如果S值大于文件大小，则将S设置为0，直到所有对此文件的读请求都处理结束，若：是随机读，则对该文件的所有读请求，在0和文件大小之间随机确定一个值作为文件的读起始位置，并设置T＝1K Byte，直到所有该文件的读请求都处理结束；若：是写请求，随机在0和文件大小之间选择文件写的起始位置S，并将文件截取为S大小，按照预先设定的概率Ps确定对此记录相关文件的写访问是顺序写还是随机写；若：是顺序写，则设置第一个对此文件的写起始位置为S＝S，写数据大小为T＝1K Byte，而后读取此文件后续的文件写请求，并将写请求的起始位置设置为S＝S+T，写数据大小为T＝T，如果S值大于文件大小，则将S设置为0，直到所有对此文件的写请求都处理结束。若：是随机写，则对该文件的所有写请求，在0和文件大小之间随机确定一个值作为文件的写起始位置，并设置T＝1K Byte，直到所有该文件的写请求都处理结束；步骤(3.3.3)判断是否所有文件访问请求都已经被处理过，若：不是，则转步骤(3.3.1)，若：是，则本流程结束；文件访问请求播放模块用于将加密后的文件访问在文件系统场景信息还原模块中还原的文件系统场景上进行播放；步骤(4.1)将加密后的文件访问请求按照时间顺序进行排序；步骤(4.2)对每个所述的文件访问请求，当请求执行时间到达时，根据访问类型，播放请求，同时记录请求执行的时间及各种不同类型请求的个数。