[发明专利]一种多结构实时电子商务平台信息大数据挖掘装置及方法

权利要求书

1.一种多结构实时电子商务平台信息大数据挖掘装置，包括商务平台端、数据存储端、和数据管理中心；

所述商务平台端为手机和电脑组成的智能移动装备；

所述数据存储端包括数据传输装置、云端设备；

所述数据管理中心包括数据挖掘模块、数据处理模块、数据分析模块、数据管理模块、服务器及APP端；其中，所述数据挖掘模块包括平台后台、移动设备底层，所述移动设备底层包括平台浏览端的URL及客户移动设备端的URL；所述数据处理模块包括数据筛选器和数据规则分类器；所述数据分析模块包括决策树分类器和输出端，所述数据分析模块连接所述数据管理模块，将分析结果传递至服务器；

所述数据挖掘模块的输入端连接云端设备，其输出端连接数据处理模块；所述数据处理模块的输出端分别连接服务器和所述数据分析模块，所述数据分析模块的输出端分别连接服务器和所述数据管理模块，所述数据管理模块的输出端连接服务器；

其特征在于：

所述数据处理模块、数据分析模块与数据管理模块均连接至服务器，这种连接被配置为储存挖掘的URL信息、分析结果及执行信号进行储存，用于下次分析对比；

所述数据挖掘模块通过所述商务平台端和所述数据存储端，将客户实时URL数据接收并放置于待抓取队列，取出已放置的URL数据和解析器DNS数据，并对上述两类数据进行整理分类；

所述数据处理模块被配置为利用所述数据筛选器接收数据进行去噪和修整，利用所述数据规则分类器对接收的数据进行规则分类，并随机选择90％-95％的数据建立实时数据决策树模型形成决策子树，并将结果输出到所述数据分析模块；

所述数据分析模块被配置为将所述决策子树和预先存储的现有决策类别进行比较，形成数据分析报告，基于所述分析报告将输出结果绘制成相应的图表，利用随机选择后剩下5％-10％的数据对所述图表进行验证，并将所述图表及验证结果发送至所述数据管理模块；

所述服务器被配置为将所述输出图表发送至APP端；

所述APP端被配置为将所述输出图表发送至所述平台端。

2.根据权利要求1所述的大数据挖掘装置，其特征在于：所述数据筛选器被配置为采用模糊算法进行判别。

3.根据权利要求1或2所述的大数据挖掘装置，其特征在于：所述规则分类器被配置为采用径向基神经网络算法进行筛选。

4.根据权利要求1或2所述的大数据挖掘装置，其特征在于：所述决策树分类器采用决策树与遗传相结合的算法。

5.一种应用于权利要求1至4之一所述多结构实时电子商务平台信息大数据挖掘装置的方法，其特征在于：

步骤S1，数据采集：利用平台端将客户URL数据进行抓取，分析DNS信息，并对该信息进行收集、分类；

步骤S2，数据去噪、修整：检查所述数据集中各数据的完整性和一致性，并判断数据是否有缺失；在有缺失时从数据库中选取对应区间的相应数据进行替换；在没有缺失时对每个数据进行去噪声处理、填补缺失域以及删除无效数据，将清洗后的数据转换成目标数据，并将所述目标数据生成预处理数据；

步骤S3，数据规则分类：对所述预处理数据进行规则粗分类，随机选取90％-95％的数据量作为样本训练集，训练数据规则模型，生成数据规则，然后采用5％-10％的数据作为验证集对模型进行验证，判断规则模型准确率是否满足要求，如果满足要求则进入步骤S4，如果不满足要求则重新进入步骤S1；

步骤S4，数据分析：将所述数据规则导入决策树模型，将实时数据进行数据转化为数据挖掘模型，设置迭代举证，将对应的特征向量的字符串数组作为序列参量，设置数据挖掘的支持度下限和置信度下限；

步骤S5，数据管理：数据分析结果导入管理模块，对结果进行评价与解析，形成分析报告；

步骤S6，数据输出：将步骤S5中的分析报告发送至平台后台；

步骤S7，结束。

6.根据权利要求5所述的方法，其特征在于：步骤S5中的删除无效数据通过预先设定的数值范围进行限定，在设定的数值范围外的数据被认定为无效数据。