[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

建立待处理网站数据源的网页对象数据模型，所述网页对象数据模型中包括所述待处理网站数据源中各页面所包含的数据信息；

对所述待处理网站数据源中各页面所包含的数据信息进行抽取，根据抽取出的数据信息建立网页数据信息模型；

根据所述网页数据信息模型抽取出所述待处理网站数据源中各页面的数据项和描述对象，并根据抽取的各页面的描述对象和数据项对各页面进行分类；

根据各页面的数据项计算出每个页面的相似哈希值，判断同一类页面中各页面之间的相似哈希值之间的差值是否满足预设阈值，如果是，则判定为重复数据，对重复数据进行清理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述网页对象数据模型为：

W_j＝{L，O，B}

其中，L表示页面的所在栏目和结构信息；O表示页面所描述的对象；B表示页面所包含的数据信息，所述数据信息中包含通过信息抽取和语义分析提取的k个数据项，k为正整数。

3.根据权利要求2所述的数据处理方法，其特征在于，所述网页数据信息模型为：

B＝{D₁<T,E,V,w>,D₂<T,E,V,w>,…,D_k<T,E,V,ω>}

其中，D_i表示W_j.B中第i个数据项，D_i.T表示数据项类型，所述数据项类型包括固定数据项、特征数据项和隐式数据项，D_i.E表示第i个数据项的项名，D_i.V表示第i个数据项的值，D_i.ω表示第i个数据项在页面中的权重，i为正整数。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据抽取的各页面的描述对象和数据项对各页面进行分类，包括：

定义类别集合C＝(c₁，c₂，…，c_i，…，c_m)，根据各页面的数据项中的特征数据项矢量确定代表类别集合C中各类别的特征矢量V(c_j)，m、i、j均为正整数；

计算每一个待分类页面d_k的特征数据项矢量V(d_k)与类别集合C中各类别的特征矢量V(c_j)之间的夹角余弦sim(d_k，c_j)，k为正整数；

sim(dk,cj)=V(dk)·V(cj)|V(dk)|·|V(cj)|]]>

选取sim(d_k，c_j)值最大的一个类别作为待分类页面d_k的类别，直至完成对所有待分类页面的分类。