[发明专利]一种可视化拖拽在线数据处理方法和系统

权利要求书

1.一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：

步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；

步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；

步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；

步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。

2.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：

在所述步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，

步骤S101，从所述数据源中通过批量采集方式获取得到所述结构化数据，和/或从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；

步骤S102，根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；

步骤S103，对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通。

3.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：在所述步骤S2中，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，

步骤S201，从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；

步骤S202，根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息，具体为，

确定所述结构化数据对应的有效表征信息包含：

第一，确定数据样本集N＝{x₁,x₂,…,x_n}，其中，N为所述结构化数据对应的数据样本集，x_i为所述结构化数据中对应的数据；

第二，根据下面公式(1)，获取所述数据样本集N的散度矩阵Q，

在上述公式(1)中，n为所述结构化数据的数据数量，x_i为所述结构化数据中对应的数据，为所述结构化数据对应的数据均值；

第三，根据下面公式(2)，计算预定准则函数的最优解

|λE-Q|＝0 (2)

在上述公式(2)中，E为单位矩阵，Q为所述结构化数据对应的散度矩阵，λ为待求解的特征值，

再根据上面求解得到的特征值λ对应的若干个特征分量a₁,a₂,…,a_p，作为所述结构化数据的有效表征信息；

或者，

确定所述半结构化数据或者所述非结构化数据对应的有效表征信息包含：

根据下面公式(3)，对所述半结构化数据或者所述非结构化数据进行数据拟合

在上述公式(3)中，m为所述半结构化数据或者所述非结构化数据对应的数量，(x_k,y_k)为所述半结构化数据或者所述非结构化数据对应的第k个数据对，n为预定多项式拟合函数的阶数，f(x)为所述半结构化数据或者所述非结构化数据对应的所述多项式拟合函数，a_i为所述多项式拟合函数的系数，i＝1、2、…、n；

再根据上述公式(3)对应得到的拟合函数解析解来确定所述半结构化数据或者所述非结构化数据对应的有效表征信息；

步骤S203，根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果。