[发明专利]一种基于主题词条的跨类型数据的概率聚类方法

说明书

技术领域

本发明属于数据库领域，特别涉及一种基于主题词条的跨类型数据的概率聚类方法。

背景技术

在过去的几十年里，传统的关系数据库管理系统发挥了非常重要的作用。可是，随着计算机应用技术，特别是Web信息技术的不断发展，当今的数据呈现出“海量”和“数据无处不在”这两大特点，而且数据特征纷繁复杂。因此传统的某种数据库管理系统已经无法满足这样一种数据库管理的需求，而且当今的很多数据或信息根本就没有存储在数据库管理系统中，正如Serge Atiteboul等在他们发表在ACM通信(48卷第5期)上的报告和Homman在DASFAA2007的大会报告中指出的那样，目前只有20％左右的数据或信息被存储在数据库中。这就意味着传统的数据库系统已经无法满足当今数据管理的需求，于是数据空间这一概念应运而生。

在数据空间中，需要管理跨类型(cross-type)数据，即从类型上划分，包含结构化数据(structured data)、半结构化数据(semi-structured data)和无结构化数据(unstructured data)。在结构化数据中，主要有数据库表，Excel表以及从各种无结构化和半结构化数据中提取出来的结构信息等；在半结构化数据中，主要指XML数据、word文档、ppt文档、Latex数据以及个人E-mail数据等；在无结构化数据中，主要包括txt文档、pdf文档、ps文档以及图像等。如何在跨类型数据中根据数据语义进行聚类，以提供给用户高级语义层面的查询是一个亟待解决的问题。

目前，针对数据的聚类问题已提出很多聚类算法。如基于划分的K-means方法，基于密度的DBSCAN方法。但是现有的聚类算法没有考虑到聚类过程中的不确定性(uncertainty)问题。同时，以往的这些聚类方法在处理数据的相似性关系时，处理手段过于简单，例如：K-means方法仅仅是将数据在词条空间下的距离作为数据间的相似度。由于以上原因，基于概率的聚类方法和考虑语义信息的基于数据主题的聚类方法得到了广泛应用。其中，基于数据主题的聚类方法是实现聚类的方法之一，而用词条表示数据主题又是相似性计算的前提，因此首先需要解决词条对数据主题的描述问题。其次，由于词条与主题之间的描述关系具有不确定性，即一个词条可以描述不同的主题，而一个主题也可以由不同的词条集合来表示，这就导致了数据间基于不确定主题词条的聚类问题。此外，数据间基于主题词条的相似关系，既包含直接相似关系(direct similarity relationship)，也包含间接相似关系(indirect similarityrelationship)，如何利用这些相似关系来更全面地聚类数据是需要解决的另一个关键问题。

发明内容

针对现有的数据聚类方法没有考虑到聚类过程中的不确定性(uncertainty)问题。同时，以往的这些聚类方法在处理数据的相似性关系时，处理手段过于简单，本发明提供了一种基于主题词条的跨类型数据的概率聚类方法，利用与主题相关的词条项的相似性来对数据空间中的跨类型数据进行聚类，该模型称作PTSM(Probabilistic Term Similarity Model)。本发明的具体步骤如下：

步骤1定义主题词条的类型

对于任意一个跨类型数据d，将其表示为词条的集合d(t¹，t²，...tⁿ)，其中ti(1≤i≤n)表示数据d的第i个词条。按照TF□IDF原则给集合中的每一个词条赋予权重。TF□IDF公式如公式(1)-(4)所示。

tf(t)＝1+ln(1+ln(1+f(t))    (1)

idf(t)=lnN+1Nt+1---(2)]]>