[发明专利]一种可视化拖拽在线数据处理方法和系统

说明书

本发明提供了一种可视化拖拽在线数据处理方法和系统，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。

技术领域

本发明涉及大数据处理的技术领域，特别涉及一种可视化拖拽在线数据处理方法和系统。

背景技术

数据量庞大是互联网时代的一个重要特点，而在海量的数据中如何快速地消化吸收有用的信息，对于在互联网中占据优先地位具有重要意义。其中，通过对数据进行可视化处理找到相关信息的几率会远远大于通过其他方式找到相关信息，并且对数据进行可视化处理还能够让浏览者得到更多直观的信息。现有技术采用BI模式来对数据进行可视化处理，而该BI模式是基于ETL、数据仓库、OLAP和可视化报表技术来实现的，其实质上属于应用和展示层技术，但是由于其无法解决包含结构化数据和非结构化数据的海量数据处理问题，这导致其目前基本处于淘汰的边缘。可见，现有技术急需一种能够同时对结构化数据和非结构化数据进行可视化快速处理的方法和系统。

发明内容

针对现有技术存在的缺陷，本发明提供一种可视化拖拽在线数据处理方法和系统，该可视化拖拽在线数据处理方法和系统通过从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理，根据该关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果，根据该数据分析结果，对相应的数据进行可视化的数据服务处理，最后根据该可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；可见，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。

本发明提供一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：

步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；

步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；

步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；

步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作；

进一步，在所述步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，

步骤S101，从所述数据源中通过批量采集方式获取得到所述结构化数据，和/或从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；

步骤S102，根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；

步骤S103，对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通；

进一步，在所述步骤S2中，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，