[发明专利]一种基于车联网的大数据分析方法

说明书

技术领域

 本发明涉及一种数据分析搜索方法，尤其涉及一种基于车联网的大数据分析方法。

背景技术

随着汽车保有量的持续增加，消费者对汽车安全需求增加，车主对安全的需求不仅是车辆本身的安全可靠性，还体现在了那些能通过电子安全产品或服务技术提供更多安全保障的辅助驾驶系统，这种需求的扩张带动了市场对汽车安全检测需求逐渐膨胀。

目前现有技术的车联网品如安吉星、sync等，主要是集中的车载终端上，为车主提供的服务存在局限性，各服务环节没有联网或是联网而未能有机的整合，因而导致一系列问题：当汽车故障时，车主只能依靠4S 店的救援、维修；由于汽车故障现场数据的丢失，增加了4S 店维修成本。保险公司因为没有精确的数据，被骗保现象时有发生，损失巨大；而有良好驾驶习惯的车主并没有获得客观的保费优费等。

构成车联网的每辆车每秒可以产生多达100条数据，数以千万计的汽车成年累月将形成海量大数据库，将车联网与大数据结合，可将车联网数据形成巨大的“数据宝库”，可以此为基础，开发出价值巨大的商业化应用，而目前市场上未有车联网大数据智能分析相关产品。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于车联网的大数据分析方法。可对车辆大数据进行分析及快速搜索。

为了解决上述技术问题，本发明实施例提供了一种基于车联网的大数据分析方法，包括以下步骤：

对采集到的关于车辆的状态数据集拆分成属性表，通过SPRINT算法对连续值属性表进行排序，并从所述属性表中执行计算Gini值任务并寻找分裂点，将具有相同属性名的属性表附着在相应的节点上并打上相应节点的标记，并分发到同一个Reduce进行处理；

将包含有相应Gini值及分裂点的属性表通过Reduce比较Gini值的大小，使用最小Gini值的属性作为最佳分裂属性，将对应的分裂点分裂到同一个节点的属性列表的记录Id写入哈希表，再将属性列表进行输出，并将根节点输入HDFS文件中；

通过Reduce根据属性的特点构造不同的直方图，并通过对已排序的连续值属性表或者分类属性表的扫描，实时的更新直方图，计算相应的分裂 Gini 指数，从而找到当前节点的当前属性的最佳分裂点，将输出的信息都放入HDFS文件中；

将不同节点上的属性表进行分发，将当前节点的所有属性表通过Reduce处理，并识别当前节点是否为叶节点，对非叶节点进行循环过滤，并将当前节点作为叶节点信息写入HDFS文件中。

进一步地，所述车辆的状态数据集通过获取车载终端获取车辆的OBD数据生成。

更进一步地，所述OBD数据还包括胎压、定位数据。

进一步地，所述属性表包括以下形式：<<0，Ai，AC, Vj>，<idj，Cj>>；其中0 表示所有的属性表附着在根节点上，Ai表示训练集的第 i 的属性，AC 表示属性的类别，idj表示每条属性表记录在整个数据集中的记录索引，Cj表示这条属性表记录的类属性的值。

更进一步地，所述分发到同一个Reduce进行处理是定义 Patitioner，并且要定义 key 的将具有不同的 Ai的中间键值对分发到不同的 reducer。

更进一步地，所述分发到同一个Reduce进行处理将输出键值表示为<<0，Ai，AC, Vj>，<idj，Cj，Gini，Split>>；其中Gini 表示相应属性表的 Gini 值，Split 表示分裂点。

进一步地，所述识别当前节点是否为叶节点通过以下步骤识别为叶节点：

当前节点的所有属性表属于同一类；

当前节点所含属性表数量小于预先设定的阀值；

当所有的属性表都被分裂到同一个节点；

当前节点的属性表分裂到两个子节点中。

实施本发明实施例，具有如下有益效果：通过本发明可以从海量的车辆的数据中，进行分析处理，当接收到用户的搜索请求时，可快速分析出客户需要的数据和数据的组合，从而给用户提供决策辅助。

 

具体实施方式

 

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明作进一步地详细描述。