[发明专利]数据清洗与整合智能系统

说明书

技术领域

本发明涉及一种数据清洗与整合智能系统。

背景技术

大数据是朝阳产业，但其运用还处在初创阶段，一方面是由于企业对大数据处理的认识不够深入，业自身所积累的数据量不够多，在相对有限的数据中，无法提炼出对企业有价值的信息；另一方面是因为无较为成熟的大数据分析处理的经验，因为现有数据分析技术基本停留在数据展示的层面，并不能提供太多的增量信息和智能建议，企业仍然要依靠自己来进行决策，从数据中提取价值的能力太弱。

企业对商用大数据分析解决方案的需求正处于萌芽阶段，现状是企业自身对日益累计的巨量数据束手无策。经常是既不知道如何分析也不知道分析的目标是什么。在国家产业升级的大背景下，各类企业都在试图创新，提供高附加值的产品与服务。如何利用已有的数据帮助及时、有效、自动而科学的决策日益成为企业核心竞争力的体现。未来企业对数据分析的依赖将越来越强，而这正是数据分析的巨大市场空间所在。

随着云概念的产生，目前企业已经有能力创建自己的云平台，大数据的收集与存储已成为可能，如何将云平台运用到为企业的自身发展上成为目前研究的迫切课题。

发明内容

发明目的：本发明的目的是为了解决现有技术的不足，适应日积月累的数据处理的发展需求，提供一种管理灵活、效率高、且信息量准确的数据清洗与整合智能系统。

技术方案：本发明所述的数据清洗与整合智能系统，其目的是这样实现的，

一种数据清洗与整合智能系统，包括：

数据库单元：根据行业所需构建数据库单元，并建立索引；

云存储平台：收集数据源与该数据源具有父子关系的相关信息并构建逻辑关系，对照数据库单元，以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配，对匹配好的数据进行算法加密并存储；

人工智能数据平台：对存储于云存储平台的数据进行数据审计，并结合终端调用规则提出审计建议，将现有数据规范成适合CRM应用的形式，根据调用规则建立终端的CRM数据库，将审计后并规范化的现有数据迁移至终端的CRM数据库中，为CRM应用提供数据基础；

终端：为终端提供最合适的数据抓取方案，确保数据完整载入CRM数据库，对单位时间内抓取到的数据按照规范进行数据清洗，确保数据符合CRM应用规范，整合成日常报表的形式，按照终端需求，临时进行数据抽取，按照终端需求，提供按需报表。

所述云存储平台将ASCII文本文件、XML文件、Excel表格文件的主流数据源导出到SQL server、Oracle、Teradata，并通过Sterling File Gateway、FTP/SFTP/HTTPS的方式传输到云存储平台。

有益效果：数据清洗与整合平台实现共享数据中心的数据采集与分发，提供对被交换信息进行清洗、转换、装载入库等数据交换服务，即清理脏数据，完成对数据的整理，确保数据一致性、完整性和正确性。

各业务系统通过清洗与整合系统与共享数据中心平台进行数据交换与共享，各业务系统独立运行，互不影响，某一业务系统故障不会造成对其它系统的影响。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

一种数据清洗与整合智能系统，包括：

数据库单元：根据行业所需构建数据库单元，并建立索引；

云存储平台：收集数据源与该数据源具有父子关系的相关信息并构建逻辑关系，对照数据库单元，以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配，对匹配好的数据进行算法加密并存储；

人工智能数据平台：对存储于云存储平台的数据进行数据审计，并结合终端调用规则提出审计建议，将现有数据规范成适合CRM应用的形式，根据终端调用规则建立终端的CRM数据库，将审计后并规范化的现有数据迁移至终端的CRM数据库中，为CRM应用提供数据基础；

终端：为终端提供最合适的数据抓取方案，确保数据完整载入CRM数据库，对单位时间内抓取到的数据按照规范进行数据清洗，确保数据符合CRM应用规范，整合成日常报表的形式，按照终端需求，临时进行数据抽取，按照终端需求，提供按需报表。

参见图1，本发明系统的构建流程如下：

第一步：建立数据库，根据需要收集的某一行业信息，构建数据库单元，并建立索引；