[发明专利]智慧城市中时空数据小文件合并方法

权利要求书

1.一种智慧城市中时空数据小文件合并方法，其特征在于，利用数据挖掘算法，从历史的小文件访问信息中挖掘出具有访问相关性的时空范围，然后将该时空范围内的小文件进行合并；

所述数据挖掘算法采用聚类中的层次聚类算法AGNES；

利用层次聚类算法AGNES，从历史的小文件访问信息中挖掘出具有访问相关性的时空范围，然后将该时空范围内的小文件进行合并的过程如下：

1)将历史的用户访问信息进行参数化表示和时空属性提取；

根据时空数据小文件的定义，每个文件均包含固有的位置属性l、类型属性s以及时间属性t，所以，任意小文件均可用其时空三要素表示(l,s,t)；

假设智慧城市中产生的时空数据小文件集为F＝{f₁,f₂,…,f_m}，包含的位置属性集合可表示为L＝{l₁,l₂,…,l_m}，时间属性集合为T＝{t₁,t₂,…,t_m}，类型属性集合为S＝{s₁,s₂,…,s_m}，用户通过访问智慧城市中的应用服务，产生的小文件访问请求序列为A＝(a₁,a₂,…a_n)，其中每个请求项a_i,1≤i≤n均对应于一个时空数据小文件f_i,1≤i≤n；对该请求序列进行参数化表示和时空属性提取后，形成时空属性序列：

A＝(a₁,a₂,…a_n)＝((l₁,s₁,t₁),(l₂,s₂,t₂),…,(l_n,s_n,t_n)) (1)；

2)文件合并

2.1)类型属性分类：从历史的小文件访问请求序列A＝(a₁,a₂,…,a_n)中将包含类型属性为s_i,s_i∈S的访问请求序列分离出来；

2.2)时空聚类：利用层次聚类算法AGNES对访问请求序列分别进行位置属性的聚类和时间属性的聚类，并对聚类结果进行基于访问密度的加权计算，然后利用加权后的结果得到位置属性的合并范围和时间属性的合并范围；

2.3)小文件合并：根据位置属性、时间属性的合并范围对类型属性为s_i的小文件进行合并；

2.4)循环步骤2.1)-2.3)，计算出不同属性小文件的时空合并范围分别进行合并，并建立索引；

步骤2.2)中，位置属性的合并范围通过如下方式获取:

(1a)请求里包含的位置属性集合表示为将位置属性集合里的每个坐标作为一个簇；

(2a)计算每个簇之间的组平均距离，找到距离最近的两个簇进行合并；

(3a)重复步骤(2a)，直到任意两个簇之间的组平均距离均大于预定义的距离阈值聚类算法结束；预定义的所述距离阈值为位置属性集合里所有坐标点之间距离的平均值；

(4a)假设步骤(3a)聚类过程结束后，生成的簇集合为利用这个簇集合，计算它们的平均空间范围，并根据用户的访问热度，即每个簇内坐标点的密度(个数)，为簇的空间范围半径进行加权，密度越大权值也越大；

(5a)最后，再对簇集合内所有的簇加权后的空间范围半径取平均，计算出类型属性s_i,s_i∈S的时空数据小文件对应的位置属性合并范围；

步骤2.2)中，时间属性的合并范围通过如下方式获取:

(1b)请求里包含的时间属性集合表示为将时间属性集合里的每个坐标作为一个簇；

(2b)计算每个簇之间的组平均时间差，找到时间差最小的两个簇进行合并；

(3b)重复步骤(2b)，直到任意两个簇之间的组平均时间差均大于预定义的时间差阈值聚类算法结束；预定义的所述时间差阈值为时间属性集合里所有时间点之间差值的平均值；

(4b)假设步骤(3b)聚类过程结束后，生成的簇集合为利用这个簇集合，计算它们的平均时间跨度范围，并根据用户的访问热度，即每个簇内时间属性点的密度，为簇的时间跨度半径进行加权，密度越大权值也越大；

(5b)最后，再对簇集合内所有的簇加权后的时间跨度半径取平均，计算出类型属性s_i,s_i∈S的时空数据小文件对应的时间属性合并范围。