[发明专利]一种全自动化集装箱码头生产业务云湖架构管理方法

说明书

本发明提供一种全自动化集装箱码头生产业务云湖架构管理方法，采用云湖系统管理集装箱码头海量数据信息，云湖系统具备数据分类、数据存储、数据搜索和数据应用功能，数据分类将采集到的数据信息依据数据信息所属系统类别对其进行分类，数据存储将数据信息存储在不同数据库中；当需要搜索某数据信息时，数据搜索提供依据待搜索数据信息类别特征对数据库进行检索，将结果反馈给业务人员；云湖系统可保证数据信息的可视化、可用性、可运营。本发明能实现对码头数据的有效管理。

技术领域

本发明涉及码头数据信息管理技术领域，具体涉及一种自动化集装箱码头生产业务云湖架构管理方法。

背景技术

交通强国战略持续推进，港口贸易量逐年增加，码头自动化智能化水平不断提高，港口各系统由此产生出海量数据，这些数据包括但不限于码头设备信息、货物信息、办公任务信息、生产系统信息等。数据信息是衡量港口状态的量化标尺，在港口作业调度、任务安排中意义重大。港口现有的数据信息管理方法通常是自行或外包给第三方开发一个信息系统，从而实现数据信息存储和检索。此方法虽能有效管理数据信息，但在数据检索速度、数据存储容量等方面有所不足。

发明内容

本发明的目的是解决集装箱码头海量数据信息的管理问题，提供一种自动化码头生产业务云湖架构管理方法，能够实现数据不出湖，缩短数据分析链路，直接对接BI报表、交互式查询等业务，解决数据孤岛问题，同时还可实现统一数据存储，支持对接机器学习、数据分析等能力，支持运用时序分析、时空分析引擎等多种数据处理系统，减少系统间的数据迁移，实现数据共享、实时分析能力。

本发明提供一种全自动化集装箱码头生产业务云湖架构管理方法，采用云湖系统管理集装箱码头海量数据信息，实现数据分类、数据存储、数据搜索和数据应用等功能；数据分类将采集到的数据信息依据数据信息所属系统类别对其进行分类，数据存储将数据信息存储在不同数据库中；当需要搜索某数据信息时，数据搜索提供依据待搜索数据信息类别特征对数据库进行检索，将结果反馈给业务人员；云湖系统可保证数据信息的可视化、可用性、可运营性。

优选的，所述数据所属系统类别主要分为：水平运输系统、生产操作系统和生产辅助系统、智慧楼宇系统和智慧办公系统、智能安防系统。

进一步地，所述水平运输系统、生产操作系统和生产辅助系统、智慧楼宇系统和智慧办公系统、智能安防系统产生的数据可分为四类：水平运输数据、生产应用数据、设备类数据和视频图像数据。

优选的，所述存储数据信息的数据库共有五类，分别为ES数据库、Oracle数据库、MySQL数据库、HBase数据库和文件系统；所述水平运输数据存储在ES数据库中；所述生产应用数据存储在Oracle数据库和MySQL数据库中；所述设备类数据存储在HBase数据库、Oracle数据库或MySQL数据库中；所述视频图像数据存储在文件系统中。

优选的，所述数据搜索功能基于云湖系统的组件或引擎完成；所述组件或引擎主要有数据仓库组件、交互式SQL引擎、实时OLAP组件、分布式内存计算引擎、分布式图数据库、全文检索组件和全文检索组件。

优选的，所述数据搜索主要包括以下步骤：

S1.通过检索程序判断待搜索数据信息的数据来源；

S2.通过数据来源判断待搜索数据信息所属的数据类别；

S3.通过数据类别判断待搜索数据信息所属的数据库类别；

S4.通过搜索程序在待搜索数据信息所属的数据库中对待搜索数据信息进行搜索。

其中，所述检索程序判断待搜索数据信息的数据来源是判断待搜索数据是属于哪个系统，其中，所述待搜索数据信息的数据来源为四类系统，即水平运输系统、生产操作系统和生产辅助系统、智慧楼宇系统和智慧办公系统、视频图像系统。

其中，通过数据来源判断待搜索数据信息所属的数据类别，按以下方式实现：