[发明专利]一种数据挖掘方法及数据挖掘系统

说明书

技术领域

本发明属于数据挖掘技术领域，涉及一种数据挖掘方法及数据挖掘系统。

背景技术

数据挖掘(Data Mining，DM)是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。现有数据挖掘的方法计算量普遍较大，面对大数据量的数据源时经常出现反应慢的问题。

发明内容

本发明的目的在于提供一种数据挖掘方法，解决了现有的现有数据挖掘的方法计算量较大的问题。

本发明的另一个目的是提供一种数据挖掘系统。

本发明所采用的技术方案是按照以下步骤进行：

A、数据分隔：从数据源中抽取若干个采样数据,其中采样方法为系统每生成一个随机数，使用随机数从数据源中抽取对应位置的数据；计算采样数据的分布关系，并根据采样数据的分布关系将数据源中其余的数据进行分隔，形成若干个数据集合，每个采样数据代表一个数据集合。每个采样数据所包含的特征元素为其对应的数据集合的特征向量；根据数据类型和挖掘要求的不同而不同。

B、数据筛选：确定特征向量中各个元素的权重值，权重值根据各个元素对数据挖掘重要性的强弱进行设定，元素对数据挖掘的重要性使用1～10区间内的数值表示，设权重值为L，元素即特征向量的组成部分对数据挖掘的重要性参数为b，则L＝b²，对特征向量进行修正；

C、数据迭代处理：迭代的目的是为了得到一个满足标准的集合，提前设定的标准就是目标集合，根据目标集合的格式设置迭代矩阵，随机选择符合要求的迭代矩阵，通过循环迭代进行修正，逐步靠近目标。将数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第一中间数据集合，求出第一中间数据集合与数据集合的第一偏移率；使用第一中间数据集合与迭代矩阵相乘，然后与修正后的特征向量相乘，得到第二中间数据集合，求出第二中间数据集合与第一中间数据集合的第二偏移率，当第二偏移率小于第一偏移率时，继续上述迭代过程，直至第N偏移率小于设定的阈值，得到目标数据集合(目标数据集合即最后一次的中间数据集合，当第二偏移率大于第一偏移率时，修订迭代矩阵，重新进行迭代；

D、数据归一化：将目标数据集合内的数据进行归一化，将归一化过程中删除的数据进行原始位置标记，并存入数据缓冲集合；原始位置标记采用三维数据组的形式，三个维度的数据分别为数据绝对位置、与上一个数据的相对位置、与下一个数据的相对位置；归一化的目标函数方法：

方法1：归一化的目标函数的形式为y＝ax²+bx+e^x+c；

方法2：归一化的目标函数的形式为y＝ax³+bx²+tan(x/lnx)；

E、结果判断：根据数据归一化的结果，从决策表中选取相应决策。决策表采用若干个堆栈结构并列设置而成。

进一步，所述步骤A中随机数据选取过程：记数据源的数据总量与采样数据的数量进行除法运算后的结果为a,例如数据源的数据总量为10000，采样数据量为10，那么a就是1000。任意两个随机数的差值均大于a/5。

进一步，所述步骤B中数据集合优选相邻的两个数据集合之间保留有10％～15％的重叠区，重叠区域同一个数据属于多个数据集合。

进一步，所述步骤B中特征向量修正过程为依照权重值由高至低的顺序依次对数据集合进行筛选，根据筛选的结果对特征向量的元素进行修正f(x，y)代表修正的特征向量：

方式1：修正公式如下：