[发明专利]面向电镜数据存储系统的文件元数据增量扫描方法与系统

说明书

本发明提供一种面向电镜数据存储系统的文件元数据增量扫描方法与系统，该方法包括：解析第一元数据信息文件得到第一全路径信息集合；获取文件系统所有数据文件的路径信息，生成第二全路径信息集合，对第二全路径信息集合和第一全路径信息集合做差集运算，得到待增全路径信息集合；对第一全路径信息集合和第二全路径信息集合做差集运算，得到待删全路径信息集合；将待增全路径信息集合中的每个文件路径相关的元数据写入第一元数据信息文件；同时删除第一元数据信息文件中待删全路径信息集合相关的元数据。本发明提供的一种面向电镜数据存储系统的文件元数据增量扫描方法与系统，基于增量更新，节省了处理时间，对文件系统元数据实现了快速扫描和更新。

技术领域

本发明涉及计算机领域，特别涉及一种面向电镜数据存储系统的文件元数据增量扫描方法与系统。

背景技术

随着硬件技术的进步，应用冷冻电镜技术解析生物大分子的结构正在成为一个崭新的结构生物学研究方向。近年来，不少研究团队基于冷冻电镜技术在国际顶级学术期刊Nature、Science、Cell等发表了数十篇高分辨率的关于蛋白质三维结构解析的成果，对生命科学的发展产生了重大影响，而冷冻电镜在这其中发挥着举足轻重的作用。

为了重构出高精度的分子结构，冷冻电镜需要拍摄大量二维的高分辨率图像，由于冷冻电镜在拍摄过程中很难避免诸如欠焦等问题，从而会导致丢失一些图像信息，为了避免有效信息的丢失，冷冻电镜通常会在不同的欠焦水平和不同的角度下拍摄大量高分辨率的二维图像加以合成，以弥补单一图像丢失的信息，最终利用所拍摄的大量的高分辨率的二维图像，通过相关的三维重构软件如Relion等重构出高分辨率的分子结构。

然而，在重构三维分子结构的过程中，为了构建精确的高分辨率的三维分子结构，冷冻电镜需要从不同的角度拍摄大量的高分辨率的二维图像，细微的角度变化均需要拍摄大量的二维图像，在电镜满负荷工作的情况下，每天会产生数几十TB的电镜数据，以清华大学生命学院电镜平台Titan为例，每台Titan的拍摄速率7GB/分钟，即每分钟产生7GB左右的图像数据，这样一台电镜在一天中就能产生7GB/分钟*60分钟/小时*24小时＝10.08TB的数据，从而导致每年将消耗高达4PB的存储容量。而这仅仅是一台电镜设备一年所采集的电镜数据，国内众多科研机构通常都维护着若干台的电镜设备，如清华大学目前就维护着至少3台电镜设备，每年产生的电镜数据在8PB以上，面对如此海量的电镜数据，如何设计合理的目录结构，以便于用户能够简洁方便的管理自己采集的电镜数据，就显的尤为重要。

目前，比较推崇的一种电镜数据目录组织原则是以一种二元组的方式来对用户采集的电镜数据进行目录组织，该二元组为(电镜设备ID，采集实践_用户名)，与该二元组对应的目录结构组织方式如图1所示，在图1中，最顶层目录“/ShareEM”通常是底层存储系统，如GPFS、Lustre等文件系统的目录挂载点，在该挂载点下，设置若干个子目录，对应某台电镜所产生的数据，例如，对于/ShareEM下的子目录TitanD3172，其下存放的是名称为TitanD3172的电镜所产生的所有电镜数据，而目录/ShareEM/TitanD3172/20140613_zhangyanqing存放的是用户zhangyanqing在2014年6月13日使用电镜TitanD3172采集的电镜数据。

为了能够及时获取电镜存储系统的消耗情况，系统管理员通常需要在固定的时间周期，如每小时，每天，每周等，对存储系统中每个用户的存储空间使用情况进行统计分析，以便于系统管理员能够及时发现异常情况，如某天的存储消耗量过大或者过小，某个用户占用了过多的存储空间，总存储空间低于阈值等，系统管理员一旦发现存储系统中出现异常情况时，会采取相应的处理措施，以保证电镜存储系统能够稳定高效的运行。