[发明专利]一种多人协作数据挖掘方法

说明书

本发明公开了一种多人协作数据挖掘方法，首先搭建一个数据平台，所有开发人员均通过数据源，由数据获取模块从数据平台进行数据获取，最终将取得的数据传送至特征计算库的特征生产模块进行特征生产，由一类数据获取和一类特征生产组成一个算子，不同的算子之间并联或级联，特征调度模块调度并组织不同算子生成特征；由特征开发人员在配置文件中配置各算子依赖的数据源、各算子产生的特征和各算子产生的中间结果，将各算子分配给若干开发人员，特征调度模块调度各算子输出的结果。本发明明确特征开发的职责，开发人员只对抽取逻辑负责，降低了特征开发的门槛，有效提高了开发效率和系统稳定性，便于维护，责任分明，开发效率高。

技术领域

本发明涉及一种多人协作数据挖掘方法，能广泛应用于基于机器学习技术的金融风控领域。

背景技术

特征开发是一种从文本型数据抽取成数值的过程。特征开发过程包括：1、数据获取过程；2、特征抽取逻辑；3、多个1\2过程的拓扑关系。目前的开发方法是：一、特征开发人员负责获取数据，（1）开发人员需要了解数据存储方式，（2）需要构造请求逻辑，（3）需要对数据稳定性负责；二、特征开发人员负责特征抽取逻辑，（1）需要对运算稳定性，（2）需要对代码扩展性负责；三、特征开发人员需要对数据获取与特征抽取进行组合。

随着业务发展，数据源越来越多，特征抽取逻辑与组合关系越来越复杂，这就导致了当前的开发方式存在：效率低下、责任不清、开发门槛高、不便维护等缺点，急需解决。

发明内容

为了解决现有技术中存在的不足，本发明的目的在于提供一种能够降低开发门槛，便于维护，责任分明，效率高的多人协作数据挖掘方法。

为达到上述目的，本发明所采用的技术手段是：一种多人协作数据挖掘方法，首先搭建一个数据平台，所有开发人员均通过数据源，由数据获取模块从数据平台进行数据获取，最终将取得的数据传送至特征计算库的特征生产模块进行特征生产，由一类数据获取和一类特征生产组成一个算子，不同的算子之间并联或级联，特征调度模块调度并组织不同算子生成特征；由特征开发人员在配置文件中配置各算子依赖的数据源、各算子产生的特征和各算子产生的中间结果，将各算子分配给若干开发人员，特征调度模块调度各算子输出的结果。

进一步的，所述数据平台搭建的目的是统一获取方法和简化数据，开发人员直接通过数据源名称获得数据，有数据平台保证数据获取的稳定性与可用性，开发人员不需关注数据的存储与交互方法；数据平台内部包含不同数据源的客户端，使用时，传入数据源名称到数据平台中，数据平台通过调用相应数据源的客户端获得相应数据。

进一步的，所述特征计算库中集成了若干逻辑单元，每个逻辑单元由一种由数据转换成对应特征的逻辑构成，逻辑单元间并联或级联；逻辑单元之间的执行顺序以及是否执行，由特征调度模块控制；级联执行时，下游逻辑单元使用上游单元的输出中间结果作为输入。

进一步的，所述特征调度模块调度特征计算库中逻辑单元与数据平台，该模块的最小执行单元为算子，算子中包含一个与数据平台交互的数据获取模块，一个调用特征计算库中逻辑单元的特征生产模块；算子的输入是：特征生产模块计算所需要数据源的名称，上游算子输出的中间结果；算子的输出是：特征计算库中逻辑单元生产的特征，提供下游算子使用的中间结果。

进一步的，所述特征调度模块的调度是指：根据配置文件生成调度拓扑图，根据调度拓扑图生成执行顺序，将算子生成的特征汇总输出。

本发明的有益技术效果：明确特征开发的职责，开发人员只对抽取逻辑负责，降低了特征开发的门槛，特征开发人员只需要实现特征抽取逻辑及配置文件，有效的提高了开发效率和系统稳定性；数据获取稳定性由数据平台负责；特征计算的稳定性由特征生产模块负责，便于维护，责任分明，开发效率高。

附图说明

下面结合实施例和附图对本发明作进一步的阐述。

图1为本发明数据获取平台架构示意图；