[发明专利]一种分布式架构的特征自动生成方法和系统

权利要求书

1.一种分布式架构的特征自动生成方法，其特征在于，包括：

S1，从数据库中抽取样本对应的数据，每张表存储为一张新的数据表；

S2，对抽取的数据进行清洗加工；

S3，将数据表进行分区，使得归属同一个样本的所有数据都存放到同一个分区中；

S4，采用分布式计算引擎对数据进行特征生成；

S5，将生成的特征数据文件进行合并，合成一个完整的特征数据文件。

2.根据权利要求1所述的分布式架构的特征自动生成方法，其特征在于，步骤S3包括：

S31，对样本表随机给定分区号，不同的样本可以给定相同的分区号，之后相同分区号的数据被划分到同一个分区中；

S32，从样本表开始，根据表的关联关系，依次传递分区号，使得每一条数据都给定一个分区号；

S33，在所有的数据表都给定分区号之后，将样本表及数据表根据分区号进行分区存储，相同分区号的数据被划分到同一个分区下。

3.根据权利要求1所述的分布式架构的特征自动生成方法，其特征在于，在步骤S4中，采用分布式计算引擎进行特征生成。

4.根据权利要求3所述的分布式架构的特征自动生成方法，其特征在于，步骤S4包括：

S41，设置主节点，主节点调用多个子节点中的一个子节点进行特征计算，子节点读取对应分区的数据，进行特征生成；

S42，主节点将生成的特征列名数据发送给每一个子节点；

S43，每个子节点根据具体的特征列名计算对应的特征数据。

5.根据权利要求1所述的分布式架构的特征自动生成方法，其特征在于，步骤S2包括：

将乱码数据置空；对数据进行回溯；将数据字段名统一重命名；以及数据去重。

6.一种分布式架构的特征自动生成系统，其特征在于，包括：

数据抽取单元，从数据库中抽取样本对应的数据，每张表存储为一张新的数据表；

数据加工单元，对抽取的数据进行清洗加工；

数据分区单元，将数据表进行分区，使得归属同一个样本的所有数据都存放到同一个分区中；

特征生成单元，为分布式计算引擎，对数据进行特征生成；

特征合并单元，将特征生成单元生成的特征数据文件进行合并，合成一个完整的特征数据文件。

7.根据权利要求6所述的分布式架构的特征自动生成系统，其特征在于，所述数据分区单元能够完成如下步骤：

对样本表随机给定分区号，不同的样本可以给定相同的分区号，之后相同分区号的数据被划分到同一个分区中；

从样本表开始，根据表的关联关系，依次传递分区号，使得每一条数据都给定一个分区号；

在所有的数据表都给定分区号之后，将样本表及数据表根据分区号进行分区存储，相同分区号的数据被划分到同一个分区下。

8.根据权利要求1所述的分布式架构的特征自动生成系统，其特征在于，特征生成单元采用分布式计算引擎进行特征生成。

9.根据权利要求8所述的分布式架构的特征自动生成系统，其特征在于，特征生成单元包括多个主节点和多个子节点，主节点调用某一个子节点进行特征计算，子节点读取对应分区的数据，进行特征生成；主节点将生成的特征列名数据发送给每一个子节点；每个子节点根据具体的特征列名计算对应的特征数据。

10.根据权利要求6所述的分布式架构的特征自动生成系统，其特征在于，数据加工单元能够将乱码数据置空；对数据进行回溯；将数据字段名统一重命名；以及数据去重。