[发明专利]一种大数据电商网购评价分析预测方法及系统

摘要

本发明公开了一种大数据电商网购评价分析预测方法及系统，本发明涉及一种大数据采集与分析预测的方法与系统，通过一个部署于Spark的控制与交换中心结合若干交换代理，将评价内容这非结构文本转换为结构化数据。本发明是基于大数据的前提开发，利用大数据的数据挖掘算法对采集的所有信息进行有效的处理。本发明可应用于网上购物导购，为用户提供准确的网购评价分析，方便用户判断评论是否虚假、网购是否实用，进而决定是否购买该商品。

主权项

一种大数据电商网购评价分析预测系统，其特征在于：包括部署于Spark平台的控制处理中心，通过Yarn资源管理器框架将Spark平台与Hadoop平台部署于同一集群；控制处理对象存储于Spark中，所有中间数据与不同类型数据的转换任务也由Spark执行；还包括分散在不同的服务器中的关系数据库系统和非结构化文档；还包括一个独立的集群部署Hadoop大数据平台，所述Hadoop大数据平台包含HDFS、HBASE、Hive子系统，用于加载抽取的数据，并提供分析功能；所述控制分析中心包含任务调度模块、在线查询模块、内存对象管理模块、数据分析模块、模型预测模块；所述任务调度模块用于数据加载任务；所述在线查询模块用于数据查询，包括查询本地数据库和互联网中的网购评价数据；所述内存对象管理模块用于管理中间数据的存储与更新；所述数据分析模块用于进行源数据模型到内存对象模型的转换；所述模型预测模块用于进行内存对象的建模。