[发明专利]一种基于文本分类的小样本数据描述规范化预处理方法

权利要求书

1.一种基于文本分类的小样本数据描述规范化预处理方法，其特征在于，具体步骤如下：

步骤一、构建标准实体数据表，标准实体数据表中包括若干类实体，每类实体由具有较强相关性的m列组成；

每类实体表示为：

O＝{c₁,c₂,...c_j,...c_m}

其中c_j(1≤j≤m)表示实体的第j个属性；

标准实体数据表的集合表示为：SR＝{O₁,O₂,...O_M}；M表示标准实体的类数，为正整数；

每类实体可关联一个或多个非规范描述样本，称为关联样本；

实体类O_i的关联样本表示为：

步骤二、针对某个待处理的目标数据表，分析该目标数据表的各列属性，将描述同一个实体概念的一列或多列进行组合，构成若干类实体；

目标数据表中各类实体的集合表示为：{T₁,T₂,...T_N}；N表示该目标数据表中包含的实体类数，为正整数；每类实体表示为：T＝{l₁,l₂,...l_i,...l_t}；其中l_i(1≤i≤t)表示实体T的第i个属性；

步骤三、将目标数据表中的每类实体中的每个列属性，与标准实体数据表中对应的各个列属性一一建立映射关联；

则映射表示为：l_i→c_j(1≤i≤t,1≤j≤m)，多个不同的列属性l_i可以映射到同一个标准列c_j，反之不成立；

步骤四、依次选择已完成映射的某类实体，将该类实体的各个属性列构造成子表T'作为检查对象；

步骤五、将子表T'中各实体案例分别构成目标描述O'，通过相似性匹配算法计算各实体案例与标准数据表中对应的每类实体之间的相似度a；

a∈[0,1]，其中0表示完全不同，1表示完全相同；

首先、依次选择子表T'中第一个实体案例构成目标描述O'，同时选择标准数据表中映射对应的实体O，及其相关的关联样本集SP^(O)；

然后，将目标描述O'中的每一属性列分别与标准实体O中映射对应列，以及关联样本集SP^(O)中包含的对应样本依次进行比较，计算各属性列与标准实体映射列，以及关联样本对应列的相似值；并取均值作为该实体案例的相似度；

最后，顺序选择子表T'中第二个实体案例构成目标描述O'，重复计算与标准数据表中映射实体，以及关联样本集的相似度；直至将子表T'中所有实体案例全部遍历完；

步骤六、针对子表T'，选择与标准数据表中相似度小于等于1，且目标描述与标准数据表并非完全一致的各个实体案例，标识为非规范描述项，并根据相似度的数值划分等级；

非规范描述等级包括：一级(a＝1但与标准描述非完全一致)、二级(a∈[0.5,1))、三级(a∈(0,0.5))和四级(a＝0)；

步骤七、遍历目标数据表中所有实体类，将所有非规范描述以不同的外观高亮标注，按等级从高到低给出修改建议。

2.如权利要求1所述的一种基于文本分类的小样本数据描述规范化预处理方法，其特征在于，所述的步骤四种的子表T'包含若干行，第一行是该实体类的所有属性；从第二行开始，每行数据内容为该类实体的每个实体案例。