[发明专利]基于大数据的计算机数据挖掘方法

说明书

本发明涉及一种基于大数据的计算机数据挖掘方法，涉及数据挖掘技术领域。包括以下步骤：获取描述产品的文本信息；根据文本信息提取产品的多个属性；通过计算机获取描述该产品的待挖掘文本信息，形成待挖掘大数据；获取每个属性的依赖度；对每个属性的依赖度进行归一化获取归一化后的依赖度；获取每个属性的加权信息熵增益值；根据每个属性的加权信息熵增益值构建产品属性的决策树，根据决策树对待挖掘大数据进行提纯。本发明通过产品的属性以及收集到的对待挖掘大数据，利用加权信息熵增益值对待挖掘大数据进行提纯，再通过提纯后数据匹配来实现产品营销数据挖掘的精准化。

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种基于大数据的计算机数据挖掘方法。

背景技术

随着通信的发展，各行各业的运行模式与大数据紧密相关，例如产品营销行业，通过对大数据的数据挖掘来获取目标产品信息，并通过对象匹配进行更好的产品营销。大数据的挖掘技术主要分为数据的收集、数据的预处理、数据的挖掘以及进行决策。

常规的产品营销对于描述产品的文本信息大数据挖掘过程中一般使用基于信息熵增益值的决策树算法进行数据的提纯以及数据特征的匹配，但是利用基于信息熵增益值的决策树进行大数据的提纯时，各种描述产品的主要属性进行子集划分的时候，每个产品属性的权值相等，即未考虑到产品各属性之间的相互影响，而对于产品营销时产品的某些属性有着不同程度的相互影响以及相互依赖的作用，不考虑产品各属性之间的相互影响进行决策树的生成以及利用决策树对数据进行提纯时，容易使数据提纯的不准确，造成产品营销时目标客户的选择不精准，并导致成本的增加。

发明内容

为了解决上述技术问题的不足，本发明提供一种基于大数据的计算机数据挖掘方法，该方法通过产品的属性以及收集到的对待挖掘大数据，利用加权信息熵增益值对待挖掘大数据进行提纯，再通过提纯后数据匹配来实现产品营销数据挖掘的精准化。

本发明的一种基于大数据的计算机数据挖掘方法，包括以下步骤：

获取描述产品的文本信息；根据文本信息提取产品的多个属性；

通过计算机获取描述该产品的待挖掘文本信息，形成待挖掘大数据；

根据待挖掘大数据中每个属性出现的次数，及与其余属性之间的距离获取每个属性的综合影响程度；

根据待挖掘大数据中任一属性的综合影响程度，及出现该属性的置信度，获取待挖掘大数据中任一属性的依赖度，依次获取每个属性的依赖度；

对每个属性的依赖度进行归一化获取归一化后的依赖度；

根据待挖掘大数据和每个属性与其对应归一化后的依赖度，获取每个属性的加权信息熵增益值；

根据每个属性的加权信息熵增益值构建产品属性的决策树，根据决策树对待挖掘大数据进行提纯。

在一实施例中，所述每个属性的综合影响程度是按照以下步骤获取：

根据待挖掘大数据中第个属性出现的次数，及第/个属性第/次出现时距离首次出现的第/个属性的距离获取第/个属性的正影响程度；/

根据待挖掘大数据中第个属性出现的次数，和第/个属性第/次出现时距离首次出现的第/个属性的距离，及第/个属性出现的次数，获取第/个属性的负影响程度；

根据第个属性的正影响程度和负影响程度获取待挖掘大数据中第/个属性的综合影响程度。

在一实施例中，所述第个属性的正影响程度的计算公式如下：

式中，表示第/个属性的正影响程度；/表示第/个属性对于第/个属性的正影响程度；/表示属性的总数量；

其中，第个属性对于第/个属性的正影响程度计算公式如下：

式中，表示第/个属性第/次出现时距离首次出现的第/个属性的距离；/为第个属性总体出现次数；/表示第/个属性出现的次数。

在一实施例中，所述第个属性的负影响程度的计算公式如下：