[发明专利]一种用于大数据分析的数据预测方法和装置

说明书

技术领域

本发明涉及计算机信息处理技术，更具体地说，涉及一种用于大数据分析的数据预测方法和装置。

背景技术

从SGI的首席科学家John R.Masey在1998年提出大数据概念，到大数据分析技术广泛应用于社会的各个领域，已经走过了18年的时间。现在再也没有企业怀疑大数据分析的力量，并且都在竞相利用大数据来增强自己企业的业务竞争力。但是，即使18年过去，大数据分析行业仍然处于快速发展的初期，每时每刻都在产生新的变化。从概念到实用、从结构化数据分析到非结构化数据分析，大数据分析技术在不断地进化。大数据分析的研究已经进入到了一个全新的阶段，“预测分析”技术成为最具有代表性的未来技术方向。

发明内容

本发明的目的是提供一种可以有效的进行数据预测的方法和装置，优点是实施方便，并可以方便的根据新增数据对预测规则进行修正改进。

为解决上述技术问题，根据本发明的一个方面，提供了一种用于大数据分析的数据预测方法，包括步骤：为每个数据集建立索引；提取每个数据集中的数据元素；确定每个数据集中数据元素之间的关联关系，根据所述关联关系确定数据预测规则；利用所述数据预测规则对目标数据进行预测，并根据预测结果准确性的反馈来改进数据预测规则。

优选的，所述提取每个数据集中的数据元素，包括：

判断当前数据集的数据是结构化数据还是非结构化数据，如果当前数据集的数据为非结构化数据，则将当前数据集的数据转化为结构化数据，并从当前数据集的结构化数据中提取数据元素，并为每个数据元素设置唯一标识。

优选的，所述确定每个数据集中数据元素之间的关联关系，根据所述关联关系确定数据预测规则，包括：针对每个数据集，按照计算公式计算当前数据集中每两个数据元素同时出现的概率；根据所述当前数据集中每两个数据元素同时出现的概率，确定所述当前数据集的频繁数据元素集，所述频繁数据元素集中包括至少两个数据元素；根据所述当前数据集的频繁数据元素集，确定数据预测规则；

所述计算公式为：

或者，

其中，P(A，B)表示数据元素A和数据元素B在当前数据集中同时出现的概率，C(A∩B)表示数据元素A和数据元素B在当前数据集中同时出现的次数，C(A)表示数据元素A在当前数据集中出现的次数，C(B)表示数据元素B在当前数据集中出现的次数，T为当前数据集中所有数据元素的集合，∑_X∈TC(X)为当前数据集中所有数据元素出现的次数，α和β为可调节的修正系数，用于使特殊情况计算得到的P(A，B)所受数据偏差的影响更小，n1和n2为可调节系数，用于更精细的调节，其值大于0。

优选的，根据所述当前数据集中每两个数据元素同时出现的概率，确定所述当前数据集的频繁数据元素集，包括：当两个数据元素同时出现的概率达到预设概率阈值时，确定该两个数据元素构成了一频繁数据元素集；当两个频繁数据元素集具有相同的数据元素时，提取该两个频繁数据元素集中不同的数据元素，计算不同的数据元素在当前数据集中出现的概率；当不同的数据元素在当前数据集中出现的概率达到预设概率阈值时，确定不同的数据元素构成了一频繁数据元素集。

优选的，所述利用所述数据预测规则对目标数据进行预测，包括：根据已被规则引擎解析过的数据预测规则对目标数据进行预测。

优选的，所述方法还可以包括：利用神经网络方法，根据当前大数据及历史数据进行预测。

优选的，所述方法还可以包括：根据预测结果准确性的反馈，对所述数据预测规则及其形成机制进行修正改进。

根据本发明的另一个方面，提供了一种用于大数据分析的数据预测装置，包括：

索引建立模块，用于为每个数据集建立索引；

数据元素提取模块，用于提取每个数据集中的数据元素；

预测规则建立模块，用于确定每个数据集中数据元素之间的关联关系，根据所述关联关系确定数据预测规则；

预测模块，用于利用所述数据预测规则对目标数据进行预测，并根据预测结果准确性的反馈来改进数据预测规则。

优选的，数据元素提取模块，用于判断当前数据集的数据是结构化数据还是非结构化数据，如果当前数据集的数据为非结构化数据，则将当前数据集的数据转化为结构化数据，并从当前数据集的结构化数据中提取数据元素，并为每个数据元素设置唯一标识。