[发明专利]一种基于分布式系统的海量交通数据快速处理方法有效
| 申请号： | 201510925950.X | 申请日： | 2015-12-11 |
| 公开（公告）号： | CN105528431B | 公开（公告）日： | 2019-05-14 |
| 发明（设计）人： | 张善海;熊贵喜;蔡朝辉;杜博文;凌萍;谢志普 | 申请（专利权）人： | 新智认知数据服务有限公司 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182;G06F16/172 |
| 代理公司： | 上海远同律师事务所 31307 | 代理人： | 张坚 |
| 地址： | 201201 上海市浦*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于分布式系统的海量交通数据快速处理方法，包括：步骤a：在时间和空间上将海量交通数据分块，分块后的所述交通数据具有时间属性标识和空间属性标识；步骤b：在内存中以细粒度存储一定数量的常用的所述交通数据，在文件系统中以粗粒度存储除所述内存存储的交通数据之外的交通数据；步骤c：当处理程序请求处理数据时，判断所请求的交通数据是否在内存中；步骤d：如果所请求的交通数据存储在内存中，则直接处理相应数据；以及步骤e：如果所请求的交通数据存储在所述文件系统中，则先根据文件信息从所述文件系统中将所述交通数据读入内存，再对所述交通数据进行处理。本发明方法查询速度快，且效率高。 | ||
| 搜索关键词： | 一种 基于 分布式 系统 海量 交通 数据 快速 处理 方法 | ||
【主权项】：
1.一种基于分布式系统的海量交通数据快速处理方法，其特征在于，包括以下步骤：步骤a：在时间和空间上将海量交通数据分块，分块后的所述交通数据具有时间属性标识和空间属性标识；步骤b：在内存中以细粒度存储一定数量的常用的所述交通数据，在文件系统中以粗粒度存储除所述内存存储的交通数据之外的交通数据；步骤c：当处理程序请求处理数据时，判断所请求的交通数据是否在内存中；步骤d：如果所请求的交通数据存储在内存中，则直接处理相应数据；以及步骤e：如果所请求的交通数据存储在所述文件系统中，则先根据文件信息从所述文件系统中将所述交通数据读入内存，再对所述交通数据进行处理，步骤b中，在内存中以细粒度存储交通数据，是同时按照时间和小区号进行划分，将时间和小区号<时间，小区号>两者结合起来作为所述交通数据的键值；在文件系统中以粗粒度存储交通数据，是在各个时间段的基础上，将所有交通小区分为若干个集合，并在文件开始位置记录各个小区在文件中的位置信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新智认知数据服务有限公司，未经新智认知数据服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510925950.X/，转载请声明来源钻瓜专利网。
