[发明专利]一种基于HDFS的电梯数据的列式文件存储系统及方法在审
| 申请号： | 201711465597.7 | 申请日： | 2017-12-28 |
| 公开（公告）号： | CN108319652A | 公开（公告）日： | 2018-07-24 |
| 发明（设计）人： | 万敏;张仪;丁凌峰;张雷;陈小游 | 申请（专利权）人： | 浙江新再灵科技股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 杭州天昊专利代理事务所(特殊普通合伙) 33283 | 代理人： | 董世博;何碧珩 |
| 地址： | 310051 浙江省杭州*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于HDFS的电梯数据的列式文件存储系统，包括存储系统层、文件处理系统层和数据源层，其中，数据源层包括电梯实时状态数据和电梯触发类数据，电梯实时状态数据每秒上报一条，电梯触发类数据当电梯发生改变时上报，文件处理层包括数据加载模块、数据标准化模块、文件管理模块和索引管理模块。本系统设计基于HDFS及ElasticSearch技术，设计一套存储方案用于解决这个技术难题，其中HDFS是一个高度容错性的文件系统，具备高度的扩展性，辅以parquet列式存储文件格式，能提供高吞吐量的数据存储及访问能力。 | ||
| 搜索关键词： | 电梯 实时状态数据 文件存储系统 电梯数据 数据源层 触发 存储 数据加载模块 索引管理模块 文件处理系统 文件管理模块 数据标准化 文件处理层 上报 存储系统 高吞吐量 技术难题 数据存储 文件格式 文件系统 系统设计 扩展性 容错性 访问 | ||
【主权项】：
1.一种基于HDFS的电梯数据的列式文件存储系统，其特征是，包括存储系统层、文件处理系统层和数据源层，其中，数据源层包括电梯实时状态数据和电梯触发类数据，电梯实时状态数据每秒上报一条，电梯触发类数据当电梯发生改变时上报，文件处理层包括数据加载模块、数据标准化模块、文件管理模块和索引管理模块，数据加载模块连接至数据源层，对其中的数据进行加载和排序，进入缓存；数据标准化模块对分布式缓存数据库中的数据按照文件分区规则和文件格式规则生成Parquet文件，存储系统层包括分布式文件系统和全文索引系统，文件管理模块用于管理分布式文件系统中的文件夹及Parquet文件，索引管理模块根据Parquet文件目录来管理全文索引系统。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江新再灵科技股份有限公司，未经浙江新再灵科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711465597.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种互联网信息发掘方法
- 下一篇：网页资源文件处理方法和装置
