[发明专利]基于全生命周期的大数据实时建模方法及系统

权利要求书

1.一种基于全生命周期的大数据实时建模方法，其特征在于，包括以下步骤：

获取数据源，进行抽取、转换、清晰化及加载，形成历史数据；所述转换包括将不完整数据、错误数据或多余数据另存入冗余池中备用，所述清晰化包括描述数据的类型、属性、功能及/或目标对象；

采用历史数据建立模型池；包括：获取历史数据，按获取顺序进行排序以形成历史数据队列，按历史数据队列的先后顺序将历史数据进行分类，其中，对于没有分类或者无法分类的历史数据则置入队列末尾，直至完成所有可分类的历史数据；然后采用聚类分析算法将没有分类或者无法分类的历史数据划分到模型池或其模型子池中；其中，所述模型池包括多个模型子池，各所述模型子池按数据类型、属性、功能或目标对象设置，各所述模型子池至少部分重合设置，以使同一历史数据，可以同时被用于多个模型子池中；

接收实时数据，验证所述模型池；

在验证通过时，根据所述模型池输出所述实时数据的挖掘结果。

2.根据权利要求1所述基于全生命周期的大数据实时建模方法，其特征在于，采用历史数据建立多个模型池。

3.根据权利要求1所述基于全生命周期的大数据实时建模方法，其特征在于，采用历史数据建立模型池之后，以及接收实时数据之前，所述大数据实时建模方法还包括步骤：采用预设的验证数据集验证所述模型池。

4.根据权利要求1所述基于全生命周期的大数据实时建模方法，其特征在于，根据所述模型池输出所述实时数据的挖掘结果之后，所述大数据实时建模方法还包括步骤：采用所述实时数据调整所述模型池。

5.根据权利要求4所述基于全生命周期的大数据实时建模方法，其特征在于，采用所述实时数据调整所述模型池，包括：获取所述实时数据的所述挖掘结果的反馈信息，采用所述反馈信息配合所述实时数据调整所述模型池。

6.根据权利要求1所述基于全生命周期的大数据实时建模方法，其特征在于，所述转换还包括不一致数据转换、数据粒度转换以及规则转换计算。

7.根据权利要求1所述基于全生命周期的大数据实时建模方法，其特征在于，根据所述模型池输出所述实时数据的挖掘结果之后，所述大数据实时建模方法还包括步骤：展示及/或查询所述挖掘结果。

8.根据权利要求7所述基于全生命周期的大数据实时建模方法，其特征在于，采用统计图及/或报表的方式，展示及/或查询所述挖掘结果。

9.根据权利要求8所述基于全生命周期的大数据实时建模方法，其特征在于，根据所述模型池输出所述实时数据的挖掘结果之后，所述大数据实时建模方法还包括步骤：采用所述挖掘结果对所述实时数据的实体源进行处理。

10.一种大数据实时建模系统，其特征在于，采用如权利要求1至9中任一项所述基于全生命周期的大数据实时建模方法实现。