[发明专利]基于复杂产品投产规划的快速分析系统

说明书

技术领域：

本发明涉及产品网络化运营技术领域，具体地说是一种基于复杂 产品投产规划的快速分析系统。

背景技术：

随着网络的高速发展，网络作为最大的信息载体和交流平台，已 成为当前进行信息宣传的重要途径。常规的信息(如新闻、广告、商 品等)是制定媒介策略，透过媒体定位覆盖目标受众，为实现精准， 也不过在投放后再以数据去验证、调整，很难实现考虑受众是否感兴 趣和接收。而对于互联网实时信息推送(如个性新闻发布，实时广告 竞价，个性商品展示等)，在投放前就已寻找到合适的受众，真正实 现互联网化广告的精准投放、个性营销。

目前，对企业中如何把业务数据迅速转化成为对市场、对运营状 况的认知，从而辅助企业决策，不断优化决策管理流程，提升对市场 变化的响应能力，已经成为销售部门迫切需要解决的问题。

现有的大数据系统处理数据时仍采用单机节点上的串行方式实 现，其数据处理量以及算法的负载度依赖于单个执行节点的性能，而 由于大数据处理系统往往要对海量数据进行处理，现有的单机节点串 行机制显然存在效率低、运算量低的问题。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种效率高、 准确率高的基于复杂产品投产规划的快速分析系统。

本发明可以通过一下措施达到：

一种基于复杂产品投产规划的快速分析系统，其特征在于设有信 息处理中心服务器，所述信息处理中心服务器上设有数据获取单元、 数据预处理单元、数据挖掘单元以及处理结果输出单元；所述数据获 取单元中设有结构化数据获取单元和非结构化数据获取单元；所述数 据预处理模块包括属性增/删模块、属性位置交换模块、添加ID属性 模块、多表合并模块、属性规约模块、数据冗余处理模块、数据抽样 模块、数据噪声处理模块；所述数据挖掘模块包括聚类模块、分类模 块、关联规则模块、社会关系网分析模块；所述聚类模块中设有 K‐means算法模型；所述数据预处理模块采用并行数据预处理模块， 设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由 多个Map任务并行处理，这些Map任务被分配到所属处理任务分配 的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务 的各Map任务的处理结果进行合并操作，完成数据预处理。

本发明所述数据挖掘模块为采用Map/Reduce机制的并行数据挖 掘模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处 理任务由多个Map任务并行处理，这些Map任务被分配到所属处理 任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个 处理任务的各Map任务的处理结果进行合并操作，完成并行数据挖 掘。

本发明与现有技术相比，通过对海量数据进行有效的预处理，删 除缺损、重复信息，克服了单机节点串行处理方式的不足，提高了数 据处理量和处理速度，具有结构合理、运行稳定、效率高等显著的优 点。

附图说明：

附图1是本发明的结构框图。

附图标记：信息处理中心服务器1、数据获取单元2、数据预处理单 元3、数据挖掘单元4、处理结果输出单元5、结构化数据获取单元6 非结构化数据获取单元7。

具体实施方式：

下面结合附图对本发明作进一步的说明：

如附图所示，本发明提出了一种基于复杂产品投产规划的快速分 析系统，其特征在于设有信息处理中心服务器1，所述信息处理中心 服务器上设有数据获取单元2、数据预处理单元3、数据挖掘单元4 以及处理结果输出单元5；所述数据获取单元2中设有结构化数据获 取单元6和非结构化数据获取单元7；所述数据预处理模块包括属性 增/删模块、属性位置交换模块、添加ID属性模块、多表合并模块、 属性规约模块、数据冗余处理模块、数据抽样模块、数据噪声处理模 块；所述数据挖掘模块包括聚类模块、分类模块、关联规则模块、社 会关系网分析模块；所述聚类模块中设有K‐means算法模型；所述数 据预处理模块采用并行数据预处理模块，设有Map/Reduce处理模型， 通过调用Map函数，将每个处理任务由多个Map任务并行处理，这 些Map任务被分配到所属处理任务分配的执行节点上执行，再通过 调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进 行合并操作，完成数据预处理。