[发明专利]一种基于大数据的可视化模型建立分析系统和方法

说明书

一种基于大数据的可视化模型建立分析系统，包括：数据资产模块、数据运算模块、算法模型模块和前端展现模块；该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。本发明针对业务技术用户(对数据库了解不深、需要与数据库交互、需求不定用户)，直观、简单易用、灵活度高、耦合性低、扩展性强。每个可视化组件节点可查看到该节点为止拼装出的SQL及字段信息，实时解析，可以方便、直观地查看脚本情况。本发明方案降低了数据库交互难度，可视化SQL配置与IDE相比有质的提升。

技术领域

本发明涉及数据处理领域，特别涉及一种基于大数据的可视化模型建立分析系统和方法。

背景技术

随着互联网的快速发展，每天产生的数据量非常庞大。在大数据技术问世之前，传统的数据处理遇到了很多的瓶颈。首先，对于传统的数据库当数据量非常大的情况下就会导致存储到达上限，解决办法是换容量更大的硬盘，但是这么做的成本非常高。其次就是计算机无法快速的处理大数据量，在数据处理速度上也会遇到瓶颈。

数据建模是一种用于定义和分析数据的要求和其需要的相应支持的信息系统的过程。因此，数据建模的过程中，涉及到的专业数据建模工作，与企业的利益和用户的信息系统密切相关。从需求到实际的数据库，有三种不同的类型。用于信息系统的数据模型作为一个概念数据模型，本质上是一组记录数据要求的最初的规范技术。数据首先用于讨论适合企业的最初要求，然后被转变为一个逻辑数据模型，该模型可以在数据库中的数据结构概念模型中实现。一个概念数据模型的实现可能需要多个逻辑数据模型。数据建模中的最后一步是确定逻辑数据模型到物理数据模型中到对数据访问性能和存储的具体要求。数据建模定义的不只是数据元素，也包括它们的结构和它们之间的关系。

目前，利用大数据技术可以解决传统的信息技术架构存在的扩展性差、容错性差、性能低、安装部署及维护困难等诸多瓶颈。利用Hadoop的HDFS分布式文件系统对数据进行存储，扩展性好、容错性高。利用Hadoop的MapReduce对大规模数据集(大于1TB)进行并行计算，提高计算速度，性能高。但是现有的大数据技术对于非技术人员使用大数据技术是不太容易的，对数据库的了解没有专业人员深入，使用SQL语句实现与数据库的交互存在困难，但是相对普通用户而言，他们直接与数据库进行交互，并且需求不固定，无法进行服务的提前封装，灵活度低，无法满足业务技术用户需要。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于大数据的可视化模型建立分析系统和方法。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种基于大数据的可视化模型建立分析系统，包括：

数据资产模块、数据运算模块、算法模型模块和前端展现模块；其中

数据资产模块，用于数据源的设置，数据资源的创建，采用手动创建或资源绑定的方式将用户数据更新到系统，用户通过拖拽手工建模的方式，处理用户数据；

数据运算模块，用于对数据源进行数据的ETL处理，发现并纠正数据文件中可识别的错误；

算法模型模块，用于利用机器学习中经典算法对大量数据进行建模，然后利用模型进行预测；

前端展现模块，用于对已经处理过的数据或者未曾处理的数据进行图形化展现。

进一步地，数据资产模块的上传数据方式至少包括：本地文件上传、接口数据上传、数据库上传。

进一步地，数据库上传支持的数据库至少包括：ORACLE、MYSQL、HIVE。

进一步地，通过检查数据一致性、处理无效值和缺失值，实现发现并纠正数据文件中可识别的错误。