[发明专利]一种高效提取车联网高阶数据的方法及系统

说明书

本发明公开了一种高效提取车联网高阶数据的方法及系统，方法为确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；速获取索引，快速返回所需的高阶统计数据。将所有大量的线性低阶数据进行结构化处理，减少了数据冗余，同时半清洗数据，节约了管理成本；可利用现有成熟的开源分布式搜素引擎服务器，节约成本，解决短期技术瓶颈；高缓存数据与分布式搜索引擎的数据备份双保险。

技术领域

本发明涉及车联网技术领域，尤其涉及一种高效提取车联网高阶数据的方法及系统。

背景技术

在开发车联网相关项目中，数据库每天实时更新了大量的基于车辆行程的低阶原始数据，存在检索复杂结构化数据(高阶数据)过慢和调用外部API并处理数据过慢或者超时的问题。现有技术大致分为两种：

第一种：不进行高阶处理，直接在原始低阶数据上处理检索出所需数据进行统计，实时添加入数据库，获取最终数据的速度也不慢，但是会有过多的零散数据库，命名规范不统一、数据存在不少冗余、增加了开发成本也增加了管理成本，权限控制也不够自由。

第二种：在生成结构化数据之后，使用缓存数据库做一个缓冲操作，让请求先访问到缓存数据库而不是直接访问数据库，缓存数据库中没有的数据再请求访问数据库，同样可以做到快速索引，但是缺点为缓存数据库服务宕机之后数据库中的修改会导致缓存数据库中数据存在漏数据或者同步出错的情况，并且如果用户请求了低频数据，就会重现耗时过久的问题，初次之外缓存数据库会存在数据量过大消息延迟问题，依然会造成数据流转过多单耗时过久的问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种高效提取车联网高阶数据的方法及系统，提出整理低阶原始数据形成结构化数据，再利用高缓存同步守护程序与非关系型数据库实时同步到分布式全文搜索引擎，建立新的用于处理大数据和大数据统计量的映射和索引，来实现高阶统计数据的快速读取，以达到解决单条大尺寸数据回调过慢或者超时的问题。

为实现上述目的，本发明提供了一种高效提取车联网高阶数据的方法，

步骤一：确定高阶数据的结构，从原始低阶数据中抽取合并形成结构化数据库；

步骤二：利用高缓存同步守护程序将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；

步骤三：在分布式全文搜索引擎中创建新的映射和索引，与上一步的高阶结构化数据形成父子文档映射，使所有统计分析皆在必需数据上进行，避免冗余的循环和检索；

步骤四：快速获取索引，快速返回所需的高阶统计数据。

进一步地，所述步骤四快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。

进一步地，所述结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。

一种高效提取车联网高阶数据的系统，包括：

高缓存同步守护模块，用于将结构化数据库从非关系型数据库实时同步到分布式全文搜索引擎；

映射和索引创建模块，用于在分布式全文搜索引擎中创建新的映射和索引；

索引获取模块，用于快速获取索引，快速返回所需的高阶统计数据。

进一步地，所述索引获取模块快速返回所需的高阶统计数据中，5MB数据量在0.1s以内返回。

进一步地，所述高缓存同步守护模块中，结构化数据库从多个原始低阶数据中提取，所述多个原始低阶数据分别从车联网设备采集。