[发明专利]一种基于信息熵的食品安全事件聚类分析方法

权利要求书

1.一种基于信息熵的食品安全事件分析方法，其特征在于，包括以下步骤：

步骤S1:采集食品安全网站上的数据，并清洗整理生成待分析食品安全事件数据集；

步骤S2:构建改进聚类分析算法；

步骤S3:根据得到的改进聚类分析算法对待分析食品安全事件数据集进行分析，得到聚类结果；

所述改进聚类分析算法具体为：

步骤S21：设定输入目标的初始聚类中心数k，k≥1；

步骤S22：根据下式计算属性总集合A的信息熵E(A)

E(A)表示整体的信息熵，即所有的属性将数据集U划分的情况,其中，A将数据集U划分成了一个新的集合C,C＝{A₁，A₂，A₃，……，A_p}，对于C中的任意一个元素A_i表示数据集U中与Bi的属性值完全相等的数据集子集，所以且|A₁|+|A₂|+|A₃|+……+|A_p|＝|U|,|A_i|/|U|即是表示属性值与A_i完全相等的元素在数据集U中出现的概率；

步骤S23：计算属性总集合中缺少每个属性后的信息熵E(A-{a})

其中E(A-{a})表示去掉a属性后，剩余的属性对U的划分情况；

步骤S24：根据步骤S21和步骤S22获取的结果，计算每个属性的权值Sig(a)，

若属性a对数据集U毫无影响则E(A)＝E(A-{a})，说明a对数据集U的划分没有起到作用，即Sig(a)＝0，说明a的属性重要性为0；反之若属性a对数据集U影响越大，则少了a属性的E(A-{a})与E(A)就相差越大；

步骤S25：遍历数据集U计算每个属性的平均密度：

其中，Dens_a(x)表示对于A中的任意元素a，

对象x在属性a上的平均密度计算方法如下：

步骤S26：对于数据集U中的每一个对象x,计算其加权密度WDens(x)：

步骤S27：选取所有对象中加权密度WDens(x)最大的一个，将其设为第一个初始聚类中心，加入聚类中心集合Z；

步骤S28:遍历数据集U中已经选取为聚类中心以外的每个对象x，保存对象的加权密度WDens(x)；

步骤S29:采用0-1相异度度量方法计算对象x与每个已分配好的初始聚类中心的距离之和d(x)：

其中，x_i,al与x_j,al分别表示数据集中x_i和x_j两个对象在对应属性上的属性值，如果相等则当前属性间的距离赋值为0，如果不相等则赋值为1，累加所有属性的属性间距离，最后得出两个对象之间的距离，即差异度；

步骤S210:对每一个对象x,计算m(x)＝WDens(x)+d(x)；

步骤S211:比较所有的m(x)，选取m(x)最大的那个对象作为新的初始聚类中心，加入聚类中心集合Z；

步骤S212：判断聚类中心数是否达到k个，即|Z|k是否成立，若成立跳转到步骤S213，若不成立则跳转到步骤S28，继续选择新的初始聚类中心；

步骤S213：根据步骤S24得到的Sig(a)计算每个属性的权值weight(a)：

步骤S214：用改进的相异度度量方法计算相异度矩阵：

wd(x_i，x_j)＝∑_a∈Aweight(a)×δ_a(x_i，x_j)

步骤S215：计算隶属度矩阵W_l×n

其中，k表示当前数据集划分为k个簇，即存在k个聚类中心，Z_i表示当前第i个类的聚类中心，Z_h表示其它类的聚类中心；

步骤S216：根据隶属度更新聚类中心集合Z，采用属性众数作为聚类中心的新的属性值；即遍历每一个类簇，计算类簇里每一个属性的每一个属性值的总数，用总数最高的属性值替换当前该类簇的聚类中心；

步骤S217：回到步骤S215重新计算隶属度，根据每个样本的最大隶属度重新归类；如果隶属度没有变化，那么k类的聚类已经完成，跳转至步骤S218；

步骤S218：根据当前隶属度矩阵与相异度矩阵计算聚类准则函数，聚类准则函数为：

其中，n是聚类对象的数量；Z_l＝[z_l1,z_l2,...,z_lm]代表聚类l的向量,即聚类中心；w_i,l∈[0,1]是隶属度矩阵W_l×n的一个元素，它表示对象X_i划分到聚类l中的隶属度，wd是改进后的相异度，α＞1是加权指数；

步骤S219：聚类数量k递增1，并回到步骤S21，直到为止，聚类准则函数最小的那一轮聚类为最后的聚类结果。

2.根据权利要求1所述的一种基于信息熵的食品安全事件分析方法，其特征在于：所述步骤S1具体为：

步骤S11:搭建页面抓取框架Scrapy，设置目标网站URL，设置食品安全事件信息起始URL；

步骤S12:创建爬虫文件，并写入将要读取的URL和爬行域名范围；

步骤S13:发起http请求，获取目标网站网页信息,页面抓取框架把目标网站URL封装成一个请求传给下载器，下载器把资源下载下来，并封装成应答包，爬虫再解析Response；

步骤S14:爬虫根据url_token提取目标网站网页信息，并保存在MongoDB中，并将数据输出在csv中；

步骤S15:若页面抓取框架中的调度器传来下一个URL，爬虫会接着处理响应请求并返回项目，再将新的数据请求发送给引擎，即返回步骤S12，否则，信息爬取完成，步骤结束。