[发明专利]客户端起源信息关联感知的元数据预取方法及系统

摘要

本发明公开了一种客户端起源信息关联感知的元数据预取方法及系统，所述方法包括：在客户端的内核空间实时收集起源信息日志记录，从内核空间传输到用户空间；在客户端选取一部分已收集的起源信息日志记录，作为元数据的关联性训练数据，计算元数据两两之间的关联分数，得到最初的强关联列表；当客户端发生文件访问请求，且文件的元数据不在客户端本地的元数据缓存中时，在客户端的强关联列表中，预取多个强关联的元数据，从元数据服务器下载相应的元数据，更新客户端本地的元数据缓存；根据新增的起源信息日志记录，定时更新元数据强关联列表。本发明提高了客户端的元数据缓存命中率，减少对元数据服务器的访问次数，从而提高元数据服务的性能。

主权项

1.客户端起源信息关联感知的元数据预取方法，其特征在于：所述方法包括以下步骤：S1、在客户端的内核空间实时收集起源信息日志记录，采用Netlink协议从内核空间传输到用户空间，并存储到起源信息数据库中；其中，所述起源信息包括进程开始与结束时间的进程起源信息和进程操作文件的I/O请求起源信息，具体为：在客户端的内核空间，拦截exit、exit_group系统调用，收集进程开始与结束时间的进程起源信息日志记录；拦截open、read、write、stat、lstat、readdir系统调用，收集进程操作文件的I/O起源信息日志记录；所述进程起源信息日志记录规范为一个三元组，如下：ProcProv(processID,start_time,end_time)；其中，ProcProv表示进程号为processID的进程，其生命周期区间为[start_time,end_time]；所述I/O请求起源信息日志记录规范为一个五元组，如下：IOProv(time,processID,userID,operationID,fid)；其中，time表示记录发生的时间，processID表示进程的pid号，userID表示操作进程的用户的ID号，operationID表示系统调用的唯一识别号，fid表示每个文件路径分配该文件的的唯一识别号；S2、在客户端选取一部分已收集的起源信息日志记录，作为元数据的关联性训练数据，采用随时间衰减的关联度计算技术计算元数据两两之间的关联分数，对于每个元数据，选取关联分数较高的关联关系，得到最初的强关联列表；S3、当客户端发生文件访问请求时，查询所述文件的元数据是否在客户端本地的元数据缓存中，若是，则执行步骤S5，若否，则执行步骤S4；S4、在客户端的强关联列表中，预取多个与所述文件的元数据强关联的元数据，一并打包向元数据服务器发送请求，从元数据服务器下载相应的元数据，更新客户端本地的元数据缓存；S5、从客户端本地的元数据缓存中读取相应的元数据信息；S6、根据新增的起源信息日志记录，采用随时间衰减的关联度计算技术定时计算元数据两两之间的关联分数，对于每个元数据，按照关联分数排序，选取关联分数最高的几个关联元数据，更新元数据强关联列表，为以后的元数据预取提供选择；步骤S2和S6中，所述计算元数据两两之间的关联分数，具体包括：1)根据ProcProv记录，提取起源信息窗口列表Plist；2)对于起源信息窗口列表Plist的每个起源信息窗口，从IOProv记录中读取I/O请求的记录列表；3)计算I/O请求的记录列表中两两fid的关联分数，具体为：在一个起源信息窗口中，对于一个IOProv与其若干个后驱IOProv的关联分数，给定一个初始关联分数S，经过与后驱IOProv的时间差衰减，得到新的关联分数S作为两个fid的关联分数，一直与后驱IOProv的时间衰减，直至S小于或等于0才停止。