[发明专利]一种基于数据湖的智能公交运营方法及系统

说明书

本发明公开了一种基于数据湖的智能公交运营方法及系统，通过给公交运营系统上传的数据包配置对应的数据字段校验码来对数据进行加密，数据字段校验码中包含了配对使用的加密校验码和标准验证码，再通过标准验证码解密加密校验码以获取数据包内的公交基础数据。为了去除垃圾数据和重复数据以减少冗余数据，减少存储空间，对公交基础数据进行数据预处理。为了便于数据调用，将数据湖分割为不同的数据池来存储不同类型的数据，再在数据池中建立数据电子目录，用户通过数据电子目录调用数据从而极大的提高调用效率。

技术领域

本发明涉及公交车运移管理技术领域，尤其涉及一种基于数据湖的智能公交运营方法及系统。

背景技术

随着大数据分析技术的不断发展进步，对于公交企业或者组织来说，数据已经成为一类重要资产；为了对数据进行有效管理，目前的用户多采用大数据平台进行管理，但是现有的大数据平台对于原样数据的存储、有效管理与集中治理，特别是数据追溯调用等均提出了挑战，就需要研究一种更适合智能公交使用的运营数据管理形式，以满足其处理大规模数据所需的存储和计算能力，并为用户提供多模式的数据处理能力。

数据湖相对于传统的关系型数据库所具备的优势，首先是能够把不同种类的数据汇集到了一起，其次它将很多原本无法用作分析的数据变得不需要预定义的模型就可以提取使用。然而数据湖架构也存在缺点，其一，数据湖中很多数据永远不会删除，所需存储空间架构庞大。其二，信息安全问题。数据湖架构可看作是将所有鸡蛋放进一个篮子里，如果其中一些数据的安全被破坏，那么数据湖中所有数据将面临风险。

发明内容

本发明提供一种基于数据湖的智能公交运营方法及系统，以克服上述技术问题。

本发明一种基于数据湖的智能公交运营方法，包括：

获取公交运营系统上传的数据包，所述数据包为公交系统运行管理过程所产生的公交基础数据且配置对应的数据字段校验码；所述数据字段校验码包括：加密校验码以及与所述加密校验码配对的标准验证码；所述数据包中的数据类型包括：结构化数据、半结构化数据及非结构化数据；

根据所述加密校验码基于解密算法获取标准验证码，并通过所述标准验证码解密所述数据包内的公交基础数据；

对所述公交基础数据进行数据预处理，以去除垃圾数据和重复数据，并提高数据质量；

将数据湖根据不同的数据类型分割为不同的数据池，将完成数据预处理后的所述公交基础数据分类存储至对应的数据池中；

在所述不同的数据池中分别根据所述公交基础数据建立数据电子目录，并将所述公交基础数据按照所述数据电子目录存储至对应的存储空间；所述数据电子目录用于记载数据池中的数据类型属性、存储位置及数据关联信息；

用户根据所述数据电子目录调用所述公交基础数据使用。

进一步地，所述数据字段校验码基于DES对称密码算法进行加解密。

进一步地，所述对所述公交基础数据进行数据预处理，包括：对所述公交基础数据进行删除重复数据、数据压缩、内插、过滤、抽样、近似、编码、分类及设阈值操作。

进一步地，所述将数据湖根据不同的数据类型分割为不同的数据池，包括：将数据湖分割为结构化数据池、半结构化数据池及非结构化数据池；

所述结构化数据池，用于存储公交基础数据、公交配置数据、行驶区域地域数据以及用户个人信息数据；

所述半结构化数据池，用于存储HTML页面文件及文件格式为CSV、XML、JSON的日志类文件；

所述非结构化数据池，用于存储公交办公系统内的电子邮件、文档、图形、音视频以及消息和指令数据。

进一步地，通过式(1)将数据湖根据不同的数据类型分割为不同的数据池；