[发明专利]一种基于多示例学习的有害信息识别和网页分类方法

摘要

本发明公开了一种基于多示例学习的网页分类方法，该方法包括设计了相对大小排序前向比较法来提取网页内有效图像，并根据网页树状结构提取有效图像的相关文本；将一幅有效图像及其相关文本作为网页包中的一个示例，分别采用图像词包模型和文本词包模型生成有效图像及其相关文本的描述，并将二者合并起来作为示例的描述；采用多示例核对毒品网页进行分类。本发明的方法，通过将网页中内含的图像及其相关文本作为网页包中的示例，使算法更符合网页内容的实际分布，并能够充分利用网页的有效信息，深入挖掘图像信息与文本信息的互补性，最终取得比只利用单模态信息进行分类更好的效果。

主权项

一种网页分类方法，包括以下步骤：步骤1：提取选定网页内的有效图像，并提取所述有效图像的相关文本；步骤2：将一幅有效图像及其相关文本作为网页包中的一个示例，生成所述有效图像及其相关文本的描述，并将二者合并起来作为示例的描述；步骤3：采用多示例核对得到的所述示例进行计算，根据计算的结果对所述选定网页进行分类，所述步骤3具体包括以下步骤：步骤3a：采用多示例核对得到的所述示例进行计算，所述步骤3a具体包括：将步骤2中生成的一幅有效图像的示例作为一个包中的一个示例，一个网页作为一个包，对于步骤2中生成的包和包其中x为相应的示例表述，采用如下方式度量包Bi和包Bj之间的相似性：KMI(Bi,Bj)=Σa=1niΣb=1njKp(xia,xjb);]]>其中，KMI(.，.)是多示例核，K(.，.)是传统核，p是一个正整数；对所述的多示例核按照下式进行归一化处理：KNMI(Bi,Bj)=KMI(Bi,Bj)KMI(Bi,Bi)KMI(Bj,Bj),]]>其中，KNMI(.，.)是归一化后的多示例核；步骤3b：将上述步骤得到的多示例核与支持向量机结合，对所述选定网页进行分类，所述步骤3b进一步包括：将KNMI(Bi，Bj)与支持向量机结合，对所述选定网页进行分类，其中所述支持向量机的判别式如下：f(x)=Σi∈SVαiyiK(xi,x)+b;]]>其中，SV为支持向量索引集，yi是特征向量xi的类别标签，αi是相应的权重，b是偏置，αi的值和b的值皆通过训练得到；K(.，.)是传统核；以及用KNMI(.，.)代替K(.，.)后，得到：f(B)=Σi∈SVαiyiK(Bi,B)+b.]]>