[发明专利]一种数据挖掘和建模的方法及系统

说明书

技术领域

本发明涉及数据挖掘技术，具体涉及一种数据挖掘和建模的方法及系统。

背景技术

数据库知识发现(KDD，Knowledge Discovery In Database)是人工智能、机器学习与数据库技术等多种学科相结合的产物，是从大量数据中提取出可信、新颖、有用并能被人理解的模式的高级处理过程。这里的模式就是知识，或者说是隐藏在数据背后的规律、关系或规则。

图1所示为现有技术KDD处理过程，如图1所示，KDD处理过程主要包括数据选择、数据预处理、数据转换、数据挖掘和模式解释/知识评价五个步骤。数据挖掘(DM，Data Mining)是KDD中的一个重要步骤，用于发现转换后的数据中存在的关系和规则，下文用数据挖掘来指代KDD的整个分析过程。

图2为现有技术中基于操作的数据挖掘方法流程图。如图2所示，该方法包括以下步骤：

步骤210：建模数据处理，手工使用挖掘工具，建立数据挖掘模型。

本步骤包括：搜集与整理与建模目标相关的历史数据，从中选择确定不变的目标数据表，例如选择一个数据库的数据表作为建模数据，并转换为数据挖掘需要的格式；选择某种挖掘算法，对确定的建模数据进行建模，获得模型；重复选择算法的操作，对相同的建模数据进行建模，获得另外一个模型

步骤220：评估数据处理。该步骤可与步骤210并列执行，或在步骤210之前或之后执行。

本步骤包括：搜集与预测问题相关的历史数据，从中选择评估数据，并转换为数据挖掘需要的格式。

步骤221及步骤211：手工使用挖掘工具进行模型评估，得到评估报告，根据评估报告确定最优模型。

本步骤包括：利用步骤220准备好的评估数据，对步骤210建立的多个模型进行评估，即利用建立好的模型对历史数据进行预测，将预测的结果与历史数据中对应的结果最接近的模型，确定为最优模型。

步骤230：评分数据处理。该步骤可与步骤210、步骤220及步骤221并列，或在步骤210、步骤220及步骤221之前或之后执行。

本步骤包括：搜集与预测问题相关的数据，转换为数据挖掘需要的格式。

步骤231：手工使用挖掘工具，进行评分处理。

本步骤包括：手工使用挖掘工具，利用步骤211建立好的模型，对步骤230准备好的评分数据进行处理，得到预测结果，如数据的未来发展趋势。

例如，在客户流失模型中，评分结果反映的是客户流失可能性的大小，一般用0～1之间的一个数值表示，此值越接近1说明客户流失的可能性越大。如本步骤评分处理后得到某些或某个客户的预测结果是0.8，可以理解为该批客户或该客户的流失可能性为80％。

步骤232：手工使用挖掘工具导出预测结果。

本步骤包括：将步骤231计算出的预测结果从数据挖掘工具导入到数据库中。

步骤233：在数据库中对预测结果进行分析，以便对不同特征的数据采取不同的措施。

例如，在客户流失模型中得到某些客户流失的可能性为80％，即客户流失的可能性比较大，则运营商可以针对该批客户采取一些挽留的措施，以保证该批客户继续为运营商带来利润。

如果需要对多个数据源进行数据挖掘，则重复以上描述的步骤。

由上述描述可知，现有技术中无法实现动态变化数据的建模，每一次建模只能从确定的一个数据源中获取确定的数据。当建模的数据源或数据源中的数据表有所变化时，每次建模都需要手工进行重新选择需要的已经确定的数据。

发明内容

有鉴于此，本发明实施例提供一种数据挖掘方法，实现动态变化数据的建模及数据挖掘。该方法包括：

A、预先设置数据抽取规则；根据所述数据抽取规则，从数据源中抽取建模数据和评分数据；B、选择算法，对所述建模数据进行建模；C、利用所述建立的模型，对所述评分数据进行评分；D、输出评分结果。

本发明实施例还提供一种建模方法，实现动态变化数据的建模。该方法包括：根据预设的数据抽取规则，从数据源中抽取建模数据；选择算法，对所述建模数据进行建模。

本发明实施例还提供一种数据挖掘系统，实现了动态变化数据的建模及数据挖掘。该系统包括数据获取模块、建模模块、结果应用模块及展现模块，

所述数据获取模块，用于保存设置的数据抽取规则，根据所述数据抽取规则从数据源抽取建模数据和评分数据；

所述建模模块，用于选择算法，对所述数据获取模块获取的建模数据建立模型；