[发明专利]分布式文件系统的实时统计方法及电子设备在审
申请号: | 202111617717.7 | 申请日: | 2021-12-27 |
公开(公告)号: | CN114297169A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 于宏志;任少卿;黄艳;张岩;王朝昕;刘婉琪 | 申请(专利权)人: | 天地伟业技术有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13 |
代理公司: | 北京众达德权知识产权代理有限公司 11570 | 代理人: | 代春茹 |
地址: | 300450 天津市滨海*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 实时 统计 方法 电子设备 | ||
本发明提供了一种分布式文件系统的实时统计方法及电子设备,属于分布式文件系统的技术领域,缓解了目前的分布式文件系统数据统计存在实时性不强的问题。该方法包括:遍历虚拟节点逻辑表中各行的最后更新时间;比较当前行的最后更新时间加预设时长之和是否小于或等于当前时间;若是,则对当前行进行数据更新;若否,则继续遍历虚拟节点逻辑表中各行的最后更新时间,直至所有行的最后更新时间加预设时长之和均大于当前时间。
技术领域
本发明涉及分布式文件系统技术领域,尤其是涉及一种分布式文件系统的实时统计方法及电子设备。
背景技术
在分布式文件系统的设计中,将一个文件分为K个原始数据块,再使用纠删码算法生成M个冗余数据块,形成K+M个附带冗余的分片数据,形成P=K+M的纠删策略,然后将这些分片数据分布在容灾域内不同的磁盘上,以实现分散容灾的能力。
分布式文件系统通常使用POSIX标准文件系统接口,对用户服务。除了以树形结构查询、创建文件,也提供读写文件、改变文件长度、改变文件权限模式等操作,还提供statfs函数的操作,即获取到分布式文件系统的2个统计值:总使用字节数和总文件数。用户使用文件接口函数对文件进行改动后,如果statfs返回的统计值能够立即变动,则可称此为“实时数据统计”。但是,目前的分布式文件系统数据统计存在实时性不强的问题。
发明内容
本发明的目的在于提供一种分布式文件系统的实时统计方法,缓解了目前的分布式文件系统数据统计存在实时性不强的问题。
第一方面,本发明提供一种分布式文件系统的实时统计方法,包括:
遍历虚拟节点逻辑表中各行的最后更新时间;
比较当前行的最后更新时间加预设时长之和是否小于或等于当前时间;
若是,则对当前行进行数据更新;
若否,则继续遍历虚拟节点逻辑表中各行的最后更新时间,直至所有行的最后更新时间加预设时长之和均大于当前时间。
进一步的,所有行的最后更新时间加预设时长之和均大于当前时间之后,还包括:
记录所有行中最小的最后更新时间加预设时长之和,作为唤醒时间,并进入休眠状态;
到达唤醒时间时,重新遍历虚拟节点逻辑表中各行的最后更新时间。
进一步的,所述预设时长在10至20分钟之间。
进一步的,对当前行进行数据更新的步骤,包括:
将当前行的实时文件数记录为旧文件数;
将当前行的实时字节数记录为旧字节数;
对当前行进行文件统计,获得新文件数和新字节数;
根据新文件数更新全局文件数;
根据新字节数更新全局字节数;
将当前行的最后更新时间设置为当前时间。
进一步的,对当前行进行文件统计,获得新文件数和新字节数的步骤之后,还包括:
如果获得新文件数或新字节数失败,则返回获取当前行的旧文件数的步骤。
进一步的,根据新文件数更新全局文件数的步骤之前,还包括:
比较当前行的实时文件数是否等于旧文件数;
若是,则进行根据新文件数更新全局文件数的步骤;
若否,则返回将当前行的实时文件数记录为旧文件数的步骤。
进一步的,根据新字节数更新全局字节数的步骤之前,还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天地伟业技术有限公司,未经天地伟业技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111617717.7/2.html,转载请声明来源钻瓜专利网。