[发明专利]一种基于大数据平台的信息展示方法及系统

权利要求书

1.一种基于大数据平台的信息展示系统，其特征在于，所述基于大数据平台的信息展示系统包括：

输入模块，与中央控制模块连接，用于利用输入设备或输入装置确定待展示的内容关键词；

数据挖掘模块，与中央控制模块连接，用于基于输入的关键词利用大数据挖掘技术获取与所述关键词相关的所有数据，包括：

(1)从各个服务器中获取多个维度的大数据，并利用AP聚类对所述维度的所有大数据进行进行初步归类，得到每个维度的稀疏向量；其中，所述AP聚类的实现方法，包括：

计算矩阵E的相似性矩阵，相似性度量采用皮尔逊相关系数，两个样本点i和k，两个样本点通过传递信息响应性和适用性判断作为聚类中心的样本点：

其中，s(i,k)代表i和k两个样本点的相似性，r(i,k)是由样本点i发给候选聚类中心k的，用来表明与其他候选聚类中心k’相比，样本点k适合作为样本点i的聚类中心所积累的证据；a(i,k)是由候选聚类中心k传递给样本点i的，用来表明考虑到其他样本点i’对样本点k成为聚类中心的支持度上，样本点i挑选样本点k作为聚类中心的累积合适程度，a(i,k)初始值为0；根据最大化每个样本点两个变量之和来判断当前样本点是聚类中心，还是隶属于其他的聚类中心；

(2)利用AP聚类的结果对稀疏向量进行分类，提取每个维度的稀疏向量的特征信息，并根据每个维度的稀疏向量的特征信息，确定与所述输入关键词相关的多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度；

(3)将分类后的向量作为ISA双向聚类的输入，根据所述多个数据挖掘项目以及每个数据挖掘项目对应的待挖掘数据维度，分别在每个数据挖掘项目下获取待挖掘数据维度对应的关键词相关数据；

(4)根据在每个数据挖掘项目下获取待挖掘数据维度对应的关键词相关数据，得到数据挖掘结果；

数据预处理模块，与中央控制模块连接，用于对挖掘得到的所有数据进行清洗、去重以及归一化处理；其中，所述对挖掘得到的所有数据进行清洗，包括：

(1)根据挖掘得到的数据信息创建用于清洗相应挖掘数据的清洗映射区；

(2)根据数据挖掘关键词息，配置对应的清洗节点序列和网格清洗划分策略，并将所述清洗节点序列和网格清洗划分策略关联到相应的清洗映射区；

(3)根据所述清洗节点序列和网格清洗划分策略对创建的所述清洗映射区进行数据清洗；

所述归一化处理，包括：

接收用户输入的实体归一化策略相关的规则参数；所述规则参数包括至少一个待比较的目标属性、所述目标属性对应的比较条件参数、以及各目标属性对应的比较条件之间组合的比较规则；

根据所述规则参数以及预设的代码生成规则，生成实体归一化策略对应的程序代码；

所述根据所述规则参数以及预设的代码生成规则，生成实体归一化策略对应的程序代码，包括：针对任意一个待比较的目标属性，根据所述目标属性的类型、以及所述目标属性对应的比较条件参数，获取所述目标属性的比较函数；根据每一比较规则，调用对应的比较函数、并确定逻辑运算类型，得到所述比较规则的程序代码；根据各比较规则的程序代码得到所述实体归一化策略对应的程序代码；

运行所述实体归一化策略对应的程序代码，对预设的实体数据集合中的实体进行归一判定，以将相同实体进行聚类；

中央控制模块，与输入模块、数据挖掘模块、数据预处理模块、聚类模块、语义特征提取模块、验证模块、数据筛选模块、数据融合模块、分析模块、展示参数设置模块、数据存储模块以及信息展示模块连接，用于利用单片机或中央处理器协调控制所述基于大数据平台的信息展示系统各个模块的正常工作；

所述利用单片机或中央处理器协调控制所述基于大数据平台的信息展示系统各个模块的正常工作，包括：进行灰色模型建模，并使用建立的灰色模型进行控制；所述进行灰色模型建模包括：

X⁽⁰⁾为原始非负数据序列：X⁽⁰⁾＝[x⁽⁰⁾(1),x⁽⁰⁾(2),...,x⁽⁰⁾(n)]，对X⁽⁰⁾进行一次累加生成操作，得到X⁽⁰⁾的1-AGO序列，X⁽¹⁾＝[x⁽¹⁾(1),x⁽¹⁾(2),...,x⁽¹⁾(n)]，其中，

对序列X⁽¹⁾进行紧邻均值生成操作，得到X⁽¹⁾的紧邻均值生成序列Z⁽¹⁾，其中z⁽¹⁾(k)＝0.5[x⁽¹⁾(k)+x⁽¹⁾(k-1)],k＝1,2,...,n；

得到GM(1,1)的灰色微分方程：x⁽⁰⁾(k)+az⁽¹⁾(k)＝u，以及相应的白化方程：其中，a为发展系数，u为灰色作用量；

进行a、u的求解：采用最小二乘法其中，Yn＝[x⁽⁰⁾(2)x⁽⁰⁾(3)...x⁽⁰⁾(n)]T；白化方程的解为相应的灰色微分方程的时间响应序列为：即k时刻的值

对序列进行累减生成操作，即累加生成的逆运算，记为IAGO，可得预测序列其中，

k+d时刻的预测值为：d为系统滞后时间；

聚类模块，与中央控制模块连接，用于对预处理后的所有数据进行聚类处理，得到多个分类数据；

所述对预处理后的所有数据进行聚类处理，得到多个分类数据，包括：

根据模糊聚类算法将数据进行分类，并计算每类的聚类中心；

FCM把n个向量x_k分为c个模糊类，并求每类的聚类中心c_i，从而使模糊目标函数最小；

模糊聚类的目标函数为：

其中，d_ij＝||c_i-x_j||为样本向量距离中心点的欧式距离，c_i是第i类的中心，m为样本个数，j为属性列；每一聚类中心的计算公式为：

通过隶属度函数计算隶属度值，构成模糊矩阵；

隶属度函数为：

从模糊矩阵中选择训练样本，作为广义神经网络的训练输入；

在模糊矩阵中选择距离中心值最小的m个样本作为训练样本，通过n*m组数据作为广义神经网络的训练输入；其中，n为根据模糊聚类算法将入侵数据分类的个数，m为1～5之间的数据；

根据广义神经网络的训练输入，预测输出入侵数据类别；所述广义神经网络由输入层、模式层、求和层和输出层四级结构组成；

将数据重新分为n类，找出最靠近每类中心值的样本作为训练样本；得出聚类结果；

语义特征提取模块，与中央控制模块连接，用于对聚类得到的每个分类数据进行语义特征提取，包括：将各个分类数据聚类关键词进行词嵌入向量转换，获得对应的聚类关键词第一语义向量；通过特征提取模型对所述第一语义向量进行语义特征提取；

验证模块，与中央控制模块连接，用于将各个分类提取的语义特征与输入的内容关键词进行对比，判断是否存在联系；

数据筛选模块，与中央控制模块连接，用于基于验证结果，保留存在联系的数据，并删除无联系的数据；

数据融合模块，与中央控制模块连接，用于挖掘所有存在联系的分类数据的关系，建立映射将各个具备联系的分类数据进行数据融合；

分析模块，与中央控制模块连接，用于对数据融合后的数据进行智能分析处理；

展示参数设置模块，与中央控制模块连接，用于进行展示参数的获取；同时也可用于搜索用户的历史行为数据获取用户偏好展示参数；

数据存储模块，与中央控制模块连接，用于通过存储器存储获取的展示参数或偏好展示参数进行数据融合结果以及数据分析结果；

信息展示模块，与中央控制模块连接，用于利用显示设备基于获取的展示参数或偏好展示参数进行数据融合结果以及数据分析结果的显示。