[发明专利]一种基于分布式数据挖掘算法的可视化管理系统

权利要求书

1.一种基于分布式数据挖掘算法的可视化管理系统，其特征在于：该系统包括数据接入分析模块、数据处理模块、可视化算法库模块和数据输出模块；数据接入分析模块是数据输入的源头，接入不同来源的数据；数据处理模块对接入的数据进行数据的清洗与处理；对处理好的数据，通过可视化算法库模块进行分布式数据挖掘算法的调用，建立业务应用模型；通过数据输出模块，对经过可视化算法库模块的数据结果进行数据输出。

2.根据权利要求1所述的基于分布式数据挖掘算法的可视化管理系统，其特征在于：所述数据接入分析模块，用于接入不同电网业务源头系统的数据，包括结构化数据、非结构化数据和实时流数据；数据接入分析模块屏蔽了数据接入的差异性，并提供统一的数据接口，方便数据源管理。

3.根据权利要求1所述的基于分布式数据挖掘算法的可视化管理系统，其特征在于：所述数据处理模块用于对接入的数据进行统一的数据处理与操作；数据处理模块包括数据清洗、数据集成、数据转换和数据规约；数据清洗是指发现并纠正数据中的脏数据、无效值和缺失值，并且检查数据的一致性；数据集成是指把不同来源、格式的数据在逻辑上集中，从而实现数据共享；数据转换是指将数据从一种表现形式转变为另一种表现形式的过程；数据规约是指在尽可能保持数据原来特性的前提下，最大限度地精简数据量，有属性选择和数据采样两种方式。

4.根据权利要求1所述的基于分布式数据挖掘算法的可视化管理系统，其特征在于：所述可视化算法库模块，对基于Spark框架的分布式数据挖掘算法进行封装，形成算法库，并提供可视化操作界面；可视化算法库针对不同的数据挖掘算法，规定输入和输出格式，并提供用户友好的调用方式；用户根据不同的业务场景，进行有效的模型训练，降低了算法开发的门槛。

5.根据权利要求1所述的基于分布式数据挖掘算法的可视化管理系统，其特征在于：所述数据输出模块用于对计算处理的结果数据进行统一的输出处理；输出的结果和数据源模块对应，包括结构化数据、非结构化数据和实时流数据的输出；数据输出模块提供丰富的数据输出方式，并提供统一的数据输出接口。