[发明专利]基于ETL数据仓库技术实现的双公示生产数据采集系统

摘要

本发明公开了一种基于ETL数据仓库技术实现的双公示生产数据采集系统，包括数据的采集和数据的处理。本发明和现有的双公示生产数据采集系统相比，本发明实现的基于ETL数据仓库技术实现的双公示生产数据采集系统服务器资源利用率高，双公示生产数据采集人工操作过程速度快，数据清洗效果好，由于在服务器使用闲时自动进行数据清洗和有效性校验，可以设置更加复杂的校验原则提高数据的可用性，并且能够更合理利用双公示生产数据采集系统的服务器资源。

主权项

一种基于ETL数据仓库技术实现的双公示生产数据采集系统，其特征在于，包括数据的采集和数据的处理，数据的采集包括如下步骤：S1，进入双公示生产数据采集系统的登录界面输入账号和密码；S2，双公示生产数据采集系统对账号进行校验，验证通过则登录成功；验证失败，则返回登录界面；S3，登录成功后，预设ETL的自动启动时间，然后进入双公示生产数据采集系统进行数据的录入；S4，双公示生产数据采集系统对输入的数据的有效性进行校验，验证失败后提示失败原因，并返回双公示生产数据采集系统的录入界面；S5，数据经校验有效后，系统调取ETL临时数据库中的数据与录入的数据进行比对判断是否重复，如数据重复则提示ETL临时数据库中已存在相关数据，无需再次录入；S6，经步骤S5判重之后的数据确认没有和ETL临时数据库中的数据重复之后，将数据存入ETL临时数据库；数据的处理包括如下步骤：S7，到达ETL的自动启动时间后，ETL访问临时数据库，临时数据库中不存在数据时，ETL直接退出；临时数据库中存在数据时，ETL进行数据提取、清洗、有效性校核以及与数据仓库中数据判重、转换操作；S8，将经步骤S7中的各项数据操作筛选之后的数据加载到数据仓库内，ETL退出。