[发明专利]一种特征生成方法及系统

说明书

本申请涉及互联网技术领域，尤其涉及一种特征生成方法及系统，用以解决在进行大量新生成特征的适应度评价时，通常存在大数据处理能力不足，评价效率较低的问题；本申请实施例中，整个迭代进程包括：由选择的一个子节点执行的初始化任务、由多个子节点并行执行的每一代适应度评价任务、由选择的一个子节点执行的迭代任务、以及在执行完全部的适应度评价任务后执行的输出任务；主节点负责进行整个迭代进程的协调调度。由于每一代适应度评价任务可以由多个子节点并行执行，因此提高了整个特征生成进程的效率；主节点采用编码个体的形式向执行适应度评价任务的子节点指示需要评价的特征表达式，从而可以减少数据传输量。

技术领域

本申请涉及互联网技术领域，尤其涉及一种特征生成方法及系统。

背景技术

随着互联网信息技术的发展，通过互联网为用户提供的业务服务的种类越来越多，如何更好地为用户提供业务服务是互联网行业中的一个重要问题。模型分类能够有效提升业务服务水平，比如，对用户的收入水平进行分类，将用户的收入水平分为高、中、低三个类别，可以基于用户收入水平类别的不同为用户提供不同的信息推介服务。

在基于模型进行分类时，需要输入多个特征，良好的特征集合能够有效提升模型分类的准确率。在很多情况下，单个特征所蕴含的信息量有限，而通过特征组合变换之后能够产生显著的分类性能。因此，可以基于原始特征集合生成一些新的特征，使这些新的特征能够反映原始特征集合隐性的分类能力。同时，为了避免变换生成的大量无效或冗余的特征对模型分类准确率的影响，需要对新生成的特征进行适应度评价。

目前，在进行大量新生成特征的适应度评价时，通常存在大数据处理能力不足，评价效率较低的问题，从而限制了对新生成特征的进一步优化，导致无法及时有效地得到有价值的特征。

发明内容

本申请实施例提供一种特征生成方法及系统，用以解决在进行大量新生成特征的适应度评价时，通常存在大数据处理能力不足，评价效率较低的问题，还提供了一种有效得到高价值新特征的特征生成算法。

本申请实施例提供一种特征生成方法，包括：

步骤A、主节点在接收到执行第N代适应度评价任务的多个子节点发送的评价结果后，若确定N等于最大迭代次数，则向选择的一子节点下发输出任务，否则，向选择的一子节点下发迭代任务；

步骤B、执行输出任务的子节点基于第N代适应度评价任务的评价结果，确定并输出适应度最高的n个特征表达式；所述适应度最高的n个特征表达式是指按照适应度由高到低排列后的前n个特征表达式；

步骤C、执行迭代任务的子节点基于所述第N代适应度评价任务的评价结果，生成包含多个编码个体的编码文件，并发送给所述主节点；其中，所述多个编码个体中包含第N代适应度评价任务评价出的适应度最高的n个特征表达式所对应的n个编码个体；

步骤D、所述主节点基于所述编码文件生成多个第N+1代适应度评价任务，并将每一个第N+1代适应度评价任务分别下发给不同的子节点，其中，每一个适应度评价任务中包含一个编码个体；

步骤E、执行适应度评价任务的子节点针对被分配的适应度评价任务中的编码个体所指示的特征表达式进行适应度计算，并将计算得到的适应度作为评价结果发送给所述主节点；将N加1，返回步骤A。

可选地，所述编码个体为采用深度优先编码DFP的方式生成的；步骤C中，执行迭代任务的子节点基于第N代适应度评价任务的评价结果，生成包含多个编码个体的编码文件，包括：

步骤C1、所述执行迭代任务的子节点基于第N代适应度评价任务的评价结果，从第N代适应度评价任务评价的m个特征表达式中选择适应度最高的n个特征表达式；