[发明专利]一种处理车载终端海量数据的方法和系统

摘要

本发明公开了一种处理车载终端海量数据的方法和系统，以简化操作并提高查询性能和效率。所述方法包括Hadoop服务器集群将来自车载终端的实时业务数据存储于Hbase数据库集群；关系数据库服务器集群将来自车载终端的基础数据存储于关系数据库集群；Hadoop服务器集群将实时业务数据交由各个与管理区域相应的区域服务器协同处理；Hadoop服务器集群将处理后的数据交互至关系数据库服务器集群的关系数据库集群。一方面，通过有效并合理的结合传统的关系数据库和天然分布式的Hadoop云存储这两种的优点解决了物联网海量数据各种特征的存储和检索问题，归并了传统解决方案的查询的性能难题；另一方面，实现了Hadoop服务器集群中服务器负载的均衡，提高了整个系统的性能。

主权项

一种处理车载终端海量数据的方法，其特征在于，所述方法包括：Hadoop服务器集群将来自车载终端的实时业务数据存储于Hbase数据库集群，所述来自车载终端的实时业务数据包括GPS信息、车辆实时状态数据和远程诊断信息；关系数据库服务器集群将来自车载终端的基础数据存储于关系数据库集群，所述关系数据库服务器集群是一群关系数据库服务器的集合，每一个关系数据库服务器都装有关系数据库，所述来自车载终端的基础数据包括设备信息、用户信息、用户汽车阈值、下载的软件、时区信息和系统日志；所述Hadoop服务器集群将所述实时业务数据交由各个与管理区域相应的区域服务器协同处理；所述Hadoop服务器集群将处理后的数据交互至所述关系数据库服务器集群的关系数据库集群；所述Hadoop服务器集群将所述实时业务数据交由各个与管理区域相应的区域服务器协同处理，包括：所述区域服务器获得所述来自车载终端的实时业务数据后，将所述实时业务数据交由区域实例进行输入/输出I/O操作；所述区域服务器将所述I/O操作的结果写入内存；根据所述内存中数据量的大小，所述区域服务器将所述内存中的数据刷新至磁盘并通过文件合并形成第二存储文件；当所述第二存储文件的容量超过第一阈值时，所述Hadoop服务器集群中的主服务器将当前管理区域分割为两个管理区域，将所述两个管理区域分别交由相应的两个区域服务器处理。