[发明专利]一种数据挖掘系统和方法

说明书

技术领域

本发明涉及本发明涉及电信行业数据分析和挖掘领域，特别是涉及一种电信行业专用的数据挖掘系统和方法。

背景技术

数据挖掘技术，是一种新的业务信息处理技术，其主要特点是对业务数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助业务决策的关键性数据。

随着电信业竞争的加剧，电信企业实现精确化营销十分重要。将数据挖掘技术运用到电信领域，在发展成熟的电信IT系统中，从客户通话行为、消费行为以及交互行为等海量数据中，提取和挖掘出隐含的、有价值的知识，通过客户分群、客户流失预测、产品关联分析等，开展针对性的营销，意义十分重大。

目前，电信行业开展的数据挖掘项目主要依靠通用型的数据挖掘软件完成，例如SPSS公司的Clementine、SAS公司的Enterprise Miner等。在数据挖掘实施过程中，通常包括的步骤主要有：业务理解、数据理解、数据准备、模型建立、模型评估和模型发布等环节。因此，电信企业内部人员使用通用数据挖掘工具实施数据挖掘时，需要面临如下问题：

1、需要精通业务的人员确定业务问题并定义业务问题；

2、需要业务人员和熟悉系统数据的IT人员确定与业务问题相关的变量；

3、需要IT人员从相关系统中抽取、清洗、转换和加载数据；

4、需要熟悉数据分析和挖掘算法的专业人员进行数据探索、算法选择、参数调优、模型建立；

5、需要业务和数据挖掘人员建立模型评估方法，并实施评估；

6、需要报表开发人员将挖掘结果通过友好、可理解的界面提供给业务人员使用。

由上可知，实现数据挖掘项目，需要由业务人员、IT人员、数据分析人员、报表开发人员等组成团队，才能有效地进行实施。因此，当前各级电信企业开展数据挖掘项目，不得不借助外部咨询公司的力量，仅依靠电信企业内部人员，难以达到数据挖掘所需的技术门槛。

发明内容

有鉴于此，本发明提出一种数据挖掘系统和方法，方便技术人员开发数据挖掘项目，降低数据挖掘所需的技术门槛。

基于上述目的本发明提供的数据挖掘系统，包括：

业务问题模板管理单元，用于定义业务问题模板；

数据处理单元，用于对原始数据格式的导入和处理，对其中的变量进行计算或产生新的衍生变量，生成业务问题模板定义的基础变量集的超集，提供指定数据格式的数据输出；

模型管理单元，用于辅助数据挖掘模型训练、模型的评估、模型的发布以及模型的打分应用；

模型展现单元，用于为最终业务用户提供友好的、业务语言的结果展现界面。

该系统所述业务问题模板为将业务问题、相关变量、推选算法、优化参数、模型评估方法、模型结果展现方法作为配置项进行固化。

该系统还包括：用户权限管理单元，用于提供系统中的角色、用户、用户组的定义及各自权限的管理。

该系统还包括：数据源，用于存储建模输入的数据表；

业务问题模板库，用于存储预定义的业务问题模板；

权限数据库，用于存储登录实用软件系统的用户、用户组、角色、密码等；

模型库，用于存储用于训练的模型，和经过评估后发布应用的模型，分别对应训练模型库和发布模型库；

输出数据库，用于存储经过模型打分，用于展现的数据表；

模型展现界面，用于展现输出数据，是业务人员浏览输出数据的视窗。

基于上述目的本发明还提供了一种数据挖掘方法，包括：

建模人员登录系统，数据挖掘系统提示建模人员选择一个既有的业务问题模板；

建模人员选择业务问题模板后，数据挖掘系统提示建模人员选择一个数据表作为数据源，数据挖掘系统将根据业务问题模板中该业务问题的基础变量集，来验证数据源变量，并完成数据导入和处理；

数据挖掘系统根据业务问题模板中该业务问题的推荐算法集，提示建模人员选择算法；当选择完算法后，数据挖掘系统根据优化参数集来配置算法参数；

数据挖掘系统执行算法，建立模型，并保存模型。

所述数据挖掘系统通过调整算法和算法参数建立多个模型；在所述建立模型并保存模型后还包括：用户从建立的模型中选择待评估模型，数据挖掘系统将根据业务问题模板中该业务问题的模型评估方法集，对模型进行评估，给出评价指标；建模人员将评估最优的模型进行发布。

该方法所述建模人员将评估最优的模型进行发布后还包括：业务人员登录，根据数据挖掘系统的提示选择经过发布的模型，利用该模型对需要进行判断的数据进行打分；