[发明专利]一种基于信息密度的数据分类方法

摘要

针对现有技术中缺乏对已有的数据文件进行分类提取目标文件的现象，本发明提出了一种基于信息密度的数据分类方法。首先根据相关内容将初级目标数据文件中的数据文件进行分类，然后计算各类型数据文件与关键词的信息密度，其次检索每一类型数据中每个文件的关键词，获得被检索的元文件及其从属类，计算并判断相对信息密度是否大于或等于阈值，是则将该元文件放入次级目标数据文件中，否则计算和类信息密度，并判断是否大于或等于阈值，是则将该元文件放入次级目标数据文件中，否则放入非目标数据文件中。本发明通过数据文件与关键词的信息密度计算即可将数据文件进行目标分类，提高了分类精度。

主权项

1.一种基于信息密度的数据分类方法，其特征在于，首先根据相关内容将初级目标数据文件中的数据文件进行分类，然后计算各类型数据文件与关键词km的信息密度E(class i,km)，其次检索每一类型数据中每个文件的关键词km，获得被检索的元文件Ki及其从属类Ci{class i}，计算并判断相对信息密度Eα(class i,km)是否大于或等于阈值Q1，是则将该元文件Ki放入次级目标数据文件中，否则计算Count{Ci{class i}}和类信息密度Eβ(class i,km)，并判断Eβ(class i,km)是否大于或等于阈值Q2，是则将该元文件Ki放入次级目标数据文件中，否则放入非目标数据文件中，所述方法至少还包括以下步骤：步骤一：在初级目标数据文件中输入数据文件，输入关键词km,m＞0、阈值Q1和Q2，其中km是第m个关键词；步骤二：根据输入的数据文件的相关内容对初级目标数据文件进行分类，可将数据文件分为A类型数据、B类型数据、……、N类型数据；步骤三：计算各类型数据i与关键词km的信息密度E(class i,km)——关键词km在A类型数据中的信息密度为E(class A,km)，关键词km在B类型数据中的信息密度为E(class B,km)，……，关键词km在N类型数据中的信息密度为E(class N,km)，其中，信息密度为E(class i,km)，A≤i≤N具体计算为：1)计算第i类型数据的大小θ及所有输入数据文件的大小2)计算关键词km、和关键词km意思相同或相似的特征在第i类型数据出现的次数μi及其在所有输入数据文件中出现的次数ν；3)计算第i类型数据与关键词km的信息密度E(class i,km)，km为提取次级目标数据文件的一个或一类信息；步骤四：检索每一类型数据中每个文件的关键词km，获得被检索的元文件K1,K2,...,Ki,...,Kn，并获得其从属类Ci{class i}；步骤五：计算并判断相对信息密度Eα(class i,km)是否大于或等于阈值Q1，0＜Q1＜1；是则将元文件Ki放入次级目标数据文件中；否则转步骤六，其中，相对信息密度的具体计算为：其中A≤i≤N，E(class i,km)为元文件Ki所属的每一个从属类与km的信息密度；步骤六：计算元文件Ki所属的类数Count{Ci{class i}}；然后计算并判断类信息密度Eβ(class i,km)是否大于或等于阈值Q2，0＜Q2＜1，是则将该元文件Ki放入次级目标数据文件中；否则放入非目标数据文件中；类信息密度Eβ(class i,km)的具体计算为：Eβ(class i,km)＝Count Ci/max Count Ci；Count Ci表示每个元文件Ki所属的类数，且是Count{Ci{class i}}的元素。