[发明专利]一种基于数据湖的智能公交运营方法及系统

权利要求书

1.一种基于数据湖的智能公交运营方法，其特征在于，包括：

获取公交运营系统上传的数据包，所述数据包为公交系统运行管理过程所产生的公交基础数据且配置对应的数据字段校验码；所述数据字段校验码包括：加密校验码以及与所述加密校验码配对的标准验证码；所述数据包中的数据类型包括：结构化数据、半结构化数据及非结构化数据；

根据所述加密校验码基于解密算法获取标准验证码，并通过所述标准验证码解密所述加密校验码以获取所述数据包内的公交基础数据；

对所述公交基础数据进行数据预处理，以去除垃圾数据和重复数据，并提高数据质量；

将数据湖根据不同的数据类型分割为不同的数据池，将完成数据预处理后的所述公交基础数据分类存储至对应的数据池中；

在所述不同的数据池中分别根据所述公交基础数据建立数据电子目录，并将所述公交基础数据按照所述数据电子目录存储至对应的存储空间；所述数据电子目录用于记载数据池中的数据类型属性、存储位置及数据关联信息；

用户根据所述数据电子目录调用所述公交基础数据使用；

通过式(1)将数据湖根据不同的数据类型分割为不同的数据池；

式中，V_i，V_j表示式(1)算法的置信度，取值范围[0，1]，x为数据湖，y为数据类型，b为数据池；l_n(x，y，V_j)，l_n(f(x)，V_j)表示使用对比损失训练的残差网络及使用二值化交叉熵损失训练的残差网络分析得到的概率，l_m(f(x))表示使用二值化交叉熵损失训练的残差网络分析得到的概率，f(x)表示从公交基础数据里面提取特征。

2.根据权利要求1所述的一种基于数据湖的智能公交运营方法，其特征在于，所述数据字段校验码基于DES对称密码算法进行加解密。

3.根据权利要求2所述的一种基于数据湖的智能公交运营方法，其特征在于，所述对所述公交基础数据进行数据预处理，包括：

对所述公交基础数据进行删除重复数据、数据压缩、内插、过滤、抽样、近似、编码、分类及设阈值操作。

4.根据权利要求3所述的一种基于数据湖的智能公交运营方法，其特征在于，所述将数据湖根据不同的数据类型分割为不同的数据池，包括：

将数据湖分割为结构化数据池、半结构化数据池及非结构化数据池；

所述结构化数据池，用于存储公交基础数据、公交配置数据、行驶区域地域数据以及用户个人信息数据；

所述半结构化数据池，用于存储HTML页面文件及文件格式为CSV、XML、JSON的日志类文件；

所述非结构化数据池，用于存储公交办公系统内的电子邮件、文档、图形、音视频以及消息和指令数据。

5.根据权利要求1所述的一种基于数据湖的智能公交运营方法，其特征在于，通过式(2)将完成数据预处理后的所述公交基础数据分类存储至对应的数据池中；

le＝V_al_m(f(a)，f(b))+V_al_m(a，b)+l_n(a，b，V_b)+l_n(f(a)，f(b)，V_b) (2)

式中，a为公交基础数据，数据池b，le表示所属数据池类别；V_a，V_b表示式(2)算法的置信度，取值范围[0，1]，l_n(a，b，V_b)，l_n(f(a)，f(b)，V_b)表示使用对比损失训练的残差网络抽取后的特征，l_m(f(a)，f(b))，l_m(a，b)表示使用二值化交叉熵损失训练的残差网络抽取后的特征，f(a)，f(b)表示从公交基础数据里面提取特征。