[发明专利]一种基于大数据的数据分析方法

摘要

本发明提供了一种基于大数据的数据分析方法，该方法包括：接收用户定义的数据挖掘过程和组件信息，实现图形化的数据流程处理；生成符合Hadoop规范的代码，然后将用户定义的数据挖掘过程模型转换成可在Hadoop上运行的代码；将数据挖掘组件连接起来构成数据挖掘过程；以Hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化。本发明通过定义组件模型，使用户快速定义和可视化定义数据挖掘过程；实现了对多种数据存储系统的数据访问。

主权项

一种基于大数据的数据分析方法，用于对大数据进行挖掘与分析，其特征在于，包括：通过可视化的界面接收用户定义的数据挖掘过程，并配置相关的组件信息，实现图形化的数据流程处理；生成符合Hadoop规范的代码，用户通过参数配置界面配置需用户定义的参数；然后将用户定义的数据挖掘过程模型转换成可在Hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件、用户自定义组件；以Hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化。