[发明专利]非监督检测及在文本数据中字簇集的分类

摘要

一种从多个源获得的数据集分类的装置，包括符号频率确定单元（24），其确定第一数据集集合中的符号的出现频率和第二数据集集合中的符号的出现频率；重要性确定单元（26），其基于第一集合中的出现频率和第二集合中的出现频率确定第二集合中的最高有效符号；分组单元（28），其根据这些最重要的符号在相同数据集中的出现而将这些最重要的符号分组成若干组，以及等级排列单元（30），其根据等级排列方案排列与符号组相关的数据集的等级。

主权项

一种将从多个源(14、16、18、20)获得数据集DS1、DS2、DS3、…、DSn分类的方法，所述数据集由符号S1、S2、S3、…、Sm组成，该方法包括：确定第一数据集集合C中的符号的出现频率；确定第二数据集集合中的符号的出现频率；基于第一集合中的出现频率和第二集合中的出现频率确定第二集合中的最重要的符号S1、S2；所述确定第二集合中的最重要的符号基于：一个符号在第二集合中出现的概率p1，jsc(wjsc)，而p1，jsc(wjsc)则是在给定了相同符号在第一集合出现的概率的条件下，利用如下公式计算得到，wjsc∈Bin(nsc，p0j)p1,jsc(k)=nsc!k!(nsc-k)!p0jk(1-p0j)(nsc-k)]]>其中nsc是第二集合中的所使用符号的数目，wjsc是符号j已在第二集合中使用的次数，p0j是从第一集合取出的特定符号是符号j的概率，(1‑p0j)是所讨论的符号不为符号j的概率，并且p1，jsc(k)是在假定符号j发生的次数遵循具有给定参数的二项式分布的情况下，符号j在第二集合中出现k次的概率，根据这些最重要的符号在相同数据集中的出现而将这些最重要的符号分组成若干组G，以及使用等级排列方案排列与符号组相关的数据集的等级，其中，第一集合中符号频率的确定不需要使用数据集的任意前述分类。