[发明专利]一种基于大数据平台的信息展示方法及系统

说明书

本发明属于数据处理技术领域，公开了一种基于大数据平台的信息展示方法及系统，所述基于大数据平台的信息展示系统包括：输入模块、数据挖掘模块、数据预处理模块、中央控制模块、聚类模块、语义特征提取模块、验证模块、数据筛选模块、数据融合模块、分析模块、展示参数设置模块、数据存储模块以及信息展示模块。本发明提供的基于大数据平台的信息展示系统，通过数据预处理进行了数据的清洗、去重，保证展示结果的有效性，同时提高了系统的处理效率，降低了处理时间。同时，本发明通过聚类分析二次验证确保数据的相关性，避免出现过多无关内容，且能够基于用户偏好以及设置进行展示方式的选择，提供简单直观的交互方式，提高了用户的体验度。

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于大数据平台的信息展示方法及系统。

背景技术

目前，随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。因此，数据挖掘方法应运而生。

但是现有结合数据技术的大数据信息展示平台或相应方法，只能机械的挖掘相关数据，显示的数据往往是重复的，甚至有许多无关内容，也不可能进行展示方式以及展示参数的设置，所有展示形式都相同。

通过上述分析，现有技术存在的问题及缺陷为：现有的展示方法展示的信息重复多，无关内容多，且无法进行展示方式以及展示参数的设置，所有展示形式都相同。

发明内容

针对现有技术存在的问题，本发明提供了一种基于大数据平台的信息展示方法及系统。

本发明是这样实现的，一种基于大数据平台的信息展示系统，所述基于大数据平台的信息展示系统包括：

输入模块，与中央控制模块连接，用于利用输入设备或输入装置确定待展示的内容关键词；

数据挖掘模块，与中央控制模块连接，用于基于输入的关键词利用大数据挖掘技术获取与所述关键词相关的所有数据，包括：

(1)从各个服务器中获取多个维度的大数据，并利用AP聚类对所述维度的所有大数据进行进行初步归类，得到每个维度的稀疏向量；其中，所述AP聚类的实现方法，包括：

计算矩阵E的相似性矩阵，相似性度量采用皮尔逊相关系数，两个样本点i和k，两个样本点通过传递信息响应性和适用性判断作为聚类中心的样本点：

其中，s(i,k)代表i和k两个样本点的相似性，r(i,k)是由样本点i发给候选聚类中心k的，用来表明与其他候选聚类中心k’相比，样本点k适合作为样本点i的聚类中心所积累的证据；a(i,k)是由候选聚类中心k传递给样本点i的，用来表明考虑到其他样本点i’对样本点k成为聚类中心的支持度上，样本点i挑选样本点k作为聚类中心的累积合适程度，a(i,k)初始值为0；根据最大化每个样本点两个变量之和来判断当前样本点是聚类中心，还是隶属于其他的聚类中心；

(2)利用AP聚类的结果对稀疏向量进行分类，提取每个维度的稀疏向量的特征信息，并根据每个维度的稀疏向量的特征信息，确定与所述输入关键词相关的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度；

(3)将分类后的向量作为ISA双向聚类的输入，根据所述多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度，分别在每个数据挖掘项目下获取待挖掘数据维度对应的关键词相关数据；