[发明专利]一种处理车载终端海量数据的方法和系统

说明书

技术领域

本发明涉及云计算领域，具体涉及一种处理车载终端海量数据的方法和系统。

背景技术

某些车载终端，由于所依附的车辆多数时间处于行驶当中，往往产生数量过亿级、数据量达TB级的记录。例如，以一个车载终端每秒钟产生一条数据，每条数据100个字节的保守估计，那么，一个小时3600条记录，0.34MB数据，保守估计每台车每天平均开动4小时，则一天产生的记录数量为：4*60*60=14400条，即（14400*100）/（1024*1024）=2.04MB的数据。那么100万个车载终端每天就会产生144亿条记录，2TB的数据，每年产生5万亿的记录，600多TB的数据。由于数据量庞大，如何存储以及如何处理，如何保证高处理性能，又保证高容错性能等等都是业界亟待解决和处理的问题。

由于传统的关系数据库无法在单库单表里存储和处理数以百亿计的记录，单库多表也无法存储数以百亿和数据量达2TB的记录，现有技术提供的一种处理车载终端海量数据的方法是使用传统的关系数据库分库分表来存储采集的数据。分库分表的策略完全由数据库的数据访问层（Data Access Layout，DAL）来处理，包括数据的备份和数据库的灾难恢复等都依靠手工处理，数据的分析完全靠自己去实现。

上述现有技术的主要缺陷在于：第一，数据量和负载增加后，添加服务器等设备的操作比较复杂；第二，有些范围查询需要访问几乎所有的分区，影响查询的性能和效率。

发明内容

本发明实施例提供一种处理车载终端海量数据的方法和系统，以简化操作并提高查询性能和效率。

本发明实施例提供一种处理车载终端海量数据的方法，所述方法包括：

Hadoop服务器集群将来自车载终端的实时业务数据存储于Hbase数据库集群；

关系数据库服务器集群将来自车载终端的基础数据存储于关系数据库集群；

所述Hadoop服务器集群将所述实时业务数据交由各个与管理区域相应的区域服务器协同处理；

所述Hadoop服务器集群将处理后的数据交互至所述关系数据库服务器集群的关系数据库集群。

本发明另一实施例提供一种处理车载终端海量数据的系统，所述系统包括Hadoop服务器集群和关系数据库服务器集群；

所述Hadoop服务器集群，用于将来自车载终端的实时业务数据存储于Hbase数据库集群；

所述关系数据库服务器集群，用于将来自车载终端的基础数据存储于关系数据库集群；

所述Hadoop服务器集群还用于将所述实时业务数据交由各个与管理区域相应的区域服务器协同处理，将处理后的数据交互至所述关系数据库服务器集群的关系数据库集群。

从上述本发明实施例可知，一方面，由于Hadoop服务器集群将来自车载终端的实时业务数据存储于Hbase数据库集群，关系数据库服务器集群将来自车载终端的基础数据存储于关系数据库集群，通过有效并合理的结合传统的关系数据库和天然分布式的Hadoop云存储这两种的优点解决了物联网海量数据各种特征的存储和检索问题，归并了传统解决方案的查询的性能难题；另一方面，Hadoop服务器集群将实时业务数据交由各个与管理区域相应的区域服务器协同处理，实现了Hadoop服务器集群中服务器负载的均衡，提高了整个系统的性能。

附图说明

图1是本发明实施例提供的处理车载终端海量数据的方法的基本流程示意图；

图2是本发明实施例提供的处理车载终端海量数据的系统结构示意图；

图3是本发明实施例提供的与附图2示例的处理车载终端海量数据的系统相应的逻辑功能架构示意图；

图4是本发明实施例提供的与附图2示例的处理车载终端海量数据的系统相应的物理设备架构示意图；

图5是本发明另一实施例提供的处理车载终端海量数据的系统结构示意图。

具体实施方式

本发明实施例提供一种处理车载终端海量数据的方法，所述方法包括：Hadoop服务器集群将来自车载终端的实时业务数据存储于Hbase数据库集群；关系数据库服务器集群将来自车载终端的基础数据存储于关系数据库集群；所述Hadoop服务器集群将所述实时业务数据交由各个与管理区域相应的区域服务器协同处理；所述Hadoop服务器集群将处理后的数据交互至所述关系数据库服务器集群的关系数据库集群。本发明实施例还提供相应的处理车载终端海量数据的系统。以下分别进行详细说明。