[发明专利]一种基于交通数据的大数据分析方法

权利要求书

1.一种基于交通数据的大数据分析方法，其特征在于，包括以下步骤：

a、数据采集，通过4G网络连接交通工具，并通过交通工具类型采集相应的交通运行状态数据；

b、数据存储，利用关系型数据库SQLServer和分布式文档存储数据库Hadoop整理所采集的交通运行状态数据；

c、对整理后的交通运行状态数据进行数据预处理；

d、数据分析处理，通过相关挖掘算法及约束条件对预处理后的交通运行状态数据进行数据挖掘操作；

e、数据评估，评估数据挖掘操作后的结果，判断数据挖掘的结果是否合格，如果是，则进入步骤f；如果否，则重进进入步骤d，进行数据挖掘操作；

f、数据可视化，通过百度地图和百度Echarts基于Javascript的数据可视化图表库，将评估通过的数据坐标转换成百度地图坐标，并显示；

所述步骤a包括以下步骤：

通过GPS数据、双目视频数据、IC卡数据、车载WIFI数据以及车载终端采集交通运行状态数据；

如果交通工具为公交车，则所采集的交通运行状态数据为公交车GPS数据、IC卡刷卡数据、站点上下车人数、双目视频数据、公交线路以及站点数据；

如果交通工具为出租车，则所采集的交通运行状态数据为出租车ID、时间、出租车GPS数据、出租车速度以及运营状态；

如果交通工具为两客一危，则所采集的交通运行状态数据为车辆GPS数据、车辆报警数据、车辆轨迹数据、车辆违章行为以及车辆异常数据；

所述步骤b包括以下步骤：

b1、建立包括关系型数据库SQLServer和分布式文档存储数据库Hadoop的数据仓库；

b2、对采集的交通运行状态数据进行初步筛选剔除后，得到挖掘数据源，并将存储入数据仓库中；

b3、建立数据知识仓库，将对挖掘数据源进行操作的算法和约束条件存放在该数据知识仓库中；

所述步骤c包括以下步骤：

c1、获取交通运行状态数据的静态数据和动态数据；

c2、判断采集的GPS数据是否存在问题，如果有属性值缺失，则判定GPS数据缺失，进入步骤c3；如果同一数据出现次数超过一次，则判定GPS数据重复，则进入步骤c5；如果存在偏离期望的孤立点值或者错误信息，则判定GPS数据异常，进入步骤c6；

c3、读取包含列对应默认值的配置文件，并获取待处理列数据；

c4、判断该列数据中各个字段的值是否为空，如果是，则根据列对应的默认值进行填充处理；如果否，则不进行填充处理；

c5、保留多个相同数据中的任意一条，并分配掉其余重复的数据；

c6、设定最大阈值和最小阈值，并利用均值替换法修复噪声数据。

2.根据权利要求1所述的基于交通数据的大数据分析方法，其特征在于，如果交通工具为公交车，则所述步骤d包括以下步骤：

d1、根据公交线路和站点数据，并结合IC卡刷卡数据，利用聚类分析法获取每个站点的上车人数；

d2、据站点上车人数、站点周边500米范围内土地性质、乘客平均出行距离以及站点换乘线路数量，确定站点下车概率矩阵，利用站点上车人数和站点下车概率矩阵，确定站点下车人数；

d3、将当前位置之前所有站点的上车人数减去当前位置之前所有站点的下车人数，得到当前位置车内人数；

d4、利用每个站点的下车概率矩阵，得到每两个站点间的客流交换情况，经过叠加，获取站点间客流OD矩阵；

d5、统计每条线路路段指定时间内所有经过的公交车车内人数之和，获取公交线路路段流量；

d6、由于站点i与站点i+1之间的断面流量为前i个站点的上车人数与下车人数之差，获取公交线路断面流量；

d7、根据相邻站点公交车的平均运行时间，计算出站点间公交车平均运行速度。