[发明专利]PaaS平台的大数据处理方法

权利要求书

1.一种PaaS平台的大数据处理方法，其特征在于，包括：

S1，PaaS平台服务器接收用户输入的集群创建参数；所述集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小；

S2，PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群；

S3，PaaS平台服务器根据所述用户输入的日志文件存储地址或所述用户部署的应用名称，配置待分析的数据源；

S4，PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理；

S5，PaaS平台服务器将数据处理结果提供给所述用户。

2.如权利要求1所述的PaaS平台的大数据处理方法，其特征在于，所述节点为分布式处理集群中的虚拟机；所述节点包括控制节点和计算节点，所述控制节点用于管理集群和分配数据处理任务，所述计算节点用于分析处理数据。

3.如权利要求2所述的PaaS平台的大数据处理方法，其特征在于，所述步骤S2具体包括：

S201，根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境；

S202，根据所述集群创建参数中的节点的数量，复制步骤S201所生成的虚拟机，生成所需数量的虚拟机；

S203，设置虚拟机之间的无密码通信；

S204，设置分布式处理集群中的控制节点和计算节点。

4.如权利要求3所述的PaaS平台的大数据处理方法，其特征在于，所述步骤S3具体包括：

PaaS平台服务器接收用户输入日志文件存储地址，或者根据所述用户在PaaS平台上部署的应用的名称获得对应的日志文件存储地址；

PaaS平台服务器检测所述日志文件存储地址中的文件格式是否为日志文件；若是，则从所述日志文件存储地址导入待分析的数据，否则待分析的数据源配置失败。

5.如权利要求4所述的PaaS平台的大数据处理方法，其特征在于，所述步骤S4具体包括：

S401，PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群中的控制节点；所述用于分析数据的脚本为MapReduce脚本，用于指示导入待分析的数据的方法和执行MapReduce作业的方法；

S402，所述控制节点选择所述分布式处理集群中空闲的计算节点，由所述计算节点并行地执行数据处理任务，对待分析的数据进行处理。