[发明专利]基于R语言环境的Vertica分布式分类预测方法及系统

权利要求书

1.一种基于R语言环境的Vertica分布式分类预测方法，其特征在于，包括：

构建输入数据集和输出数据集，所述输入数据集包括由自变量数据和因变量数据组成的多个训练数据，所述输出数据集包括与每个训练数据对应的分类预测结果；

将所述输入数据集加载到Vertica数据库上，并进行数据清洗；

从R中构建分类预测主函数，根据所述输入数据集和所述输出数据集并调用预定义的R列表工厂函数和分类预测参数函数进行分类预测模型的训练，得到R功能包；

将R功能包部署在Vertica数据库的各个节点上，实现对大数据的分类预测。

2.根据权利要求1所述的方法，其特征在于，所述因变量数据为二元变量。

3.根据权利要求1所述的方法，其特征在于，所述分类预测主函数中的分类预测函数为用于逻辑回归算法的glm函数、用于决策树算法的rpart函数或者用于随机森林算法的randomForest函数。

4.根据权利要求1所述的方法，其特征在于，所述R列表工厂函数包括用户自定义的R功能包名称、输入数据框的字段类型和输出数据框的字段类型。

5.根据权利要求1所述的方法，其特征在于，所述分类预测参数函数包括输入数据框长度、输出数据框长度、迭代训练次数和最小误差值。

6.根据权利要求1所述的方法，其特征在于，对所述输入数据集进行数据清洗的方法包括：

对所述输入数据集中的空值和/或异常值进行修正或剔除。

7.根据权利要求1-6任一项所述的方法，其特征在于，在将R功能包部署于Vertica数据库上的各个节点之前还包括：

对所述输入数据集进行分层随机抽样，将抽样数据输入R功能包进行试预测；

将所述试预测结果与抽样数据在所述输出数据集中对应的分类预测结果比对；

当比对结果的预测正确率小于阈值时，提示修改所述R列表工厂函数和/或所述分类预测参数函数，并重新进行分类预测模型的训练；

直至比对结果的预测正确率大于或等于阈值时，将当前的分类预测模型作为最优的R功能包部署在Vertica数据库的各个节点上。

8.一种基于R语言环境的Vertica分布式分类预测系统，其特征在于，包括：

基础数据单元，用于构建输入数据集和输出数据集，所述输入数据集包括由自变量数据和因变量数据组成的多个训练数据，所述输出数据集包括与每个训练数据对应的分类预测结果；

数据清洗单元，用于将所述输入数据集加载到Vertica数据库上，并进行数据清洗；

模型训练单元，用于从R中构建分类预测主函数，根据所述输入数据集和所述输出数据集并调用预定义的R列表工厂函数和分类预测参数函数进行分类预测模型的训练，得到R功能包；

模型部署单元，用于将R功能包部署在Vertica数据库的各个节点上，实现对大数据的分类预测。

9.根据权利要求8所述的系统，其特征在于，在所述模型训练单元与所述模型部署单元之间还包括分层抽样单元，所述分层抽样单元包括：

数据抽样模块，用于对所述输入数据集进行分层随机抽样，将抽样数据输入R功能包进行试预测；

结果比对模块，用于将所述试预测结果与抽样数据在所述输出数据集中对应的分类预测结果比对；

模型优化模块，用于当比对结果的预测正确率小于阈值时，提示修改所述R列表工厂函数和/或所述分类预测参数函数，并重新进行分类预测模型的训练；

模型输出模块，用于直至比对结果的预测正确率大于或等于阈值时，将当前的分类预测模型作为最优的R功能包部署在Vertica数据库的各个节点上。

10.根据权利要求8或9所述的系统，其特征在于：

所述R列表工厂函数包括用户自定义的R功能包名称、输入数据框的字段类型和输出数据框的字段类型；

所述分类预测参数函数包括输入数据框长度、输出数据框长度、迭代训练次数和最小误差值；

所述分类预测主函数中的分类预测函数为用于逻辑回归算法的glm函数、用于决策树算法的rpart函数或者用于随机森林算法的randomForest函数。