[发明专利]一种电力非结构化数据的存储管理系统及存储管理方法在审
申请号: | 201910804113.X | 申请日: | 2019-08-28 |
公开(公告)号: | CN110516031A | 公开(公告)日: | 2019-11-29 |
发明(设计)人: | 陶立欣;金焱;徐玲铃;陆志浩;杨柳;戴缘生;王志科;张兴辉;宋慧娟;潘麒;唐伟杰;纪航;何涛;陈洪岗;陈璐;徐鹏 | 申请(专利权)人: | 上海欣能信息科技发展有限公司;国网上海市电力公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/35 |
代理公司: | 31225 上海科盛知识产权代理有限公司 | 代理人: | 叶敏华<国际申请>=<国际公布>=<进入 |
地址: | 202156 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 管理节点 元数据节点 数据节点 存储管理系统 分类存储 客户端 存储 读取 非结构化数据 分布式存储 扩展性 存储管理 分类数据 更新服务 管理系统 获取数据 客户需求 控制数据 身份验证 数据存储 构建 复制 验证 审计 响应 客户 保证 | ||
1.一种电力非结构化数据的存储管理系统,其特征在于,包括元数据节点、数据节点、管理节点及客户端,所述元数据节点分别与数据节点、管理节点相连接,所述管理节点还与客户端相连接,所述元数据节点用于控制数据的分类存储及读取;
所述数据节点用于存储对应的分类数据;
所述管理节点用于从元数据节点获取数据,并对数据进行验证和缓存;
所述客户端用于从管理节点读取数据。
2.根据权利要求1所述的一种电力非结构化数据的存储管理系统,其特征在于,所述元数据节点为控制服务器,所述数据节点包括对象服务器、容器服务器和账户服务器,所述管理节点包括代理服务器、验证服务器和缓存服务器。
3.根据权利要求2所述的一种电力非结构化数据的存储管理系统,其特征在于,所述对象服务器内设有对象文件数据库,以及分别与对象文件数据库连接的对象审计模块、对象复制模块和对象更新模块,所述对象审计模块通过扫描磁盘,以检测对象文件数据的完整性;
所述对象复制模块负责将不完整对象文件数据替换为完整对象文件数据;
所述对象更新模块用于后续处理未被替换的不完整对象文件数据。
4.根据权利要求2所述的一种电力非结构化数据的存储管理系统,其特征在于,所述容器服务器内设有容器数据库,以及分别与容器数据库连接的容器审计模块、容器复制模块和容器更新模块,所述容器审计模块通过扫描磁盘,以检测容器数据的完整性;
所述容器复制模块负责将不完整容器数据替换为完整容器数据;
所述容器更新模块用于后续处理未被替换的不完整容器数据。
5.根据权利要求2所述的一种电力非结构化数据的存储管理系统,其特征在于,所述账户服务器内设有账户数据库,以及分别与账户数据库连接的账户审计模块、账户复制模块和账户更新模块,所述账户审计模块通过扫描磁盘,以检测账户数据的完整性;
所述账户复制模块负责将不完整账户数据替换为完整账户数据;
所述账户更新模块用于后续处理未被替换的不完整账户数据。
6.根据权利要求2所述的一种电力非结构化数据的存储管理系统,其特征在于,所述验证服务器用于校验数据的可靠性和有效性;所述缓存服务器通过对数据的读取历史记录进行分析,以直接存储读取量大的数据。
7.根据权利要求1所述的一种电力非结构化数据的存储管理系统,其特征在于,所述元数据节点、数据节点和管理节点均通过标准PC搭建构成。
8.一种使用权利要求2所述存储管理系统的电力非结构化数据的存储管理方法,其特征在于,包括以下步骤:
S1、控制服务器对非结构化数据进行分类,得到对象文件数据、容器数据和账户数据;
S2、控制服务器将对象文件数据、容器数据和账户数据分别对应地传输给对象服务器、容器服务器和账户服务器;
S3、对象服务器、容器服务器和账户服务器接收到对应数据之后,分别对接收的对应数据依次进行审计、复制和更新服务,以存储完整的对象文件数据、容器数据和账户数据;
S4、代理服务器通过控制服务器,分别从对象服务器、容器服务器和账户服务器中获取完整的对象文件数据、容器数据和账户数据;
S5、基于身份校验机制,由验证服务器对完整的对象文件数据、容器数据和账户数据进行校验,并将校验后完整的对象文件数据、容器数据和账户数据传输给代理服务器;
S6、基于缓存服务机制,将历史读取量大的检验后完整的对象文件数据、容器数据和账户数据直接存储于缓存服务器中;
S7、根据读取需求,客户端通过代理服务器读取所需数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海欣能信息科技发展有限公司;国网上海市电力公司,未经上海欣能信息科技发展有限公司;国网上海市电力公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910804113.X/1.html,转载请声明来源钻瓜专利网。