[发明专利]基于并行处理的集成网络信息分析系统

说明书

技术领域：

本发明涉及数据处理技术领域，具体地说是一种处理速度快、效 率高、结果准确的基于并行处理的集成网络信息分析系统。

背景技术：

随着网络的高速发展，网络作为最大的信息载体和交流平台， 已成为当前进行信息宣传的重要途径。常规的信息(如新闻、广告、 商品等)是制定媒介策略，透过媒体定位覆盖目标受众，为实现精准， 也不过在投放后再以数据去验证、调整，很难实现考虑受众是否感兴 趣和接收。而对于互联网实时信息推送(如个性新闻发布，实时广告 竞价，个性商品展示等)，在投放前就已寻找到合适的受众，真正实 现互联网化广告的精准投放、个性营销。

随着通信技术的发展，无线网络已经被使用在多个行业中，无论 是家庭还商业，普及较广，这些无线网络可包括大量移动设备、无线 路由器和接入点，这些无线网络的接入点都是WiFi节点。目前的网 络信息的发布一般信息覆盖的地域范围难以限定，用户接收信息不能 直接接收所处区域所需的各类别的信息。

现有的用户主观行为分析首先根据应用场景为不同的抽象概念 选择合适的信念指标，建立用户主观行为分析模型。依据所选信念指 标编制正式调查问卷，经模型拟合及模型评价并最终确立模型参数， 现有技术虽然包含模型拟合，但这种模拟拟合过程不是动态的。由此 可见，已有方法仅仅在模型建立之初确定模型参数，从而使得模型参 数是静态的。而网络中用户的主观行为受到多方面的因素影响，呈现 动态变化的特点。因此最初的模型参数随着时间的推移可能并不再适 用，现有技术的用户主观行为分析模型缺乏动态性。

现有的大数据系统处理数据时仍采用单机节点上的串行方式实 现，其数据处理量以及算法的负载度依赖于单个执行节点的性能，而 由于大数据处理系统往往要对海量数据进行处理，现有的单机节点串 行机制显然存在效率低、运算量低的问题。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种处理速度 快、效率高、结果准确的基于并行处理的集成网络信息分析系统。

本发明可以通过以下措施达到：

一种基于并行处理的集成网络分析系统，其特征在于设有数据预 处理模块、与数据预处理模块相连接的数据挖掘模块以及与数据挖掘 模块相连接的显示输出模块，还设有与数据挖掘模块相连接的参数设 置模块；所述数据预处理模块包括属性增/删模块、属性位置交换模 块、添加ID属性模块、多表合并模块、属性规约模块、数据冗余处 理模块、数据抽样模块、数据噪声处理模块；所述数据挖掘模块还设 有模型构建模块，用于依据选取的信念指标设定用户主观行为分析模 型的结构；材料收集模块，用于依据选取的信念指标编制调查问卷， 并依据该调查问卷收集基于多个用户的第一样本数据；样本库，用于 存放用于统计分析的样本数据；统计分析模块，用于将所述样本库输 入的数据进行统计分析处理，获得各信念指标间的相关系数矩阵，将 该相关系数矩阵输入模型拟合模块；并接收监控模块的相关系数查询 请求，然后向该监控模块返回基于样本库所有样本数据的当前的相关 系数矩阵。

本发明所述数据挖掘单元还设有模型拟合模块，用于将统计分析 处理后的相关系数矩阵与模型构建模块设定的用户主观行为分析模 型进行模型拟合处理，得到再生矩阵。

本发明所述数据挖掘单元还设有模型评价模块，用于计算模型拟 合模块输出的再生矩阵与相关系数矩阵的拟合度结果决定是否再次 触发模型拟合模块，即当拟合度小于设定拟合度时再次返回模型拟合 模块进行拟合，当拟合度大于设定拟合度时停止拟合过程，并根据最 终的再生矩阵及用户主观行为分析模型的结构得到模型的参数，输出 用户主观行为模型。

本发明所述数据挖掘单元还设有用户主观行为分析模型，用于将 满足拟合度要求的参数值设置为用户主观行为模型的参数值得到最 终用户主观行为分析模型，该模型还与监控模块连接，当用户主观行 为分析模型的参数确定后就向监控模块输出再生矩阵，当模型更改后， 才再次向监控模块输出再生矩阵。

本发明所述数据挖掘模块包括聚类模块、分类模块、关联规则模 块、社会关系网分析模块。

本发明所述聚类模块中设有K‐means算法模型。