[发明专利]一种基于贪心策略和启发式算法搜索候选类别的方法

说明书

技术领域

本发明属于互联网技术领域，具体涉及一种基于贪心策略和启发式算法搜索候选类别的方法。

背景技术

以互联网为代表的信息革命极大改变了人们的生活、生产方式，社会对网络信息系统的依赖也日益增强。然而，互联网的自由性、开放性、迅捷性以及低廉的成本和高额的利润同时也使其成为了有害信息发育繁殖的沃土。各种令人不安的信息如湍急暗流隐藏在互联网信息大潮下，包括色情、邪教、赌博、毒品、虚假新闻、宣扬暴力在内的各种有害信息充斥于互联网上。因此，对网络和信息的安全管理与控制尤为关键。

基于互联网分类目录的网络访问控制是网络安全管理的一种重要技术手段，通过建立全面、精确的互联网分类目录，可以实现快速、精细的网络访问控制。互联网分类目录按照一个概念或主题类别层次将海量网页信息组织为网络资源分类目录，以更好地搜索、访问和管理这些网络资源，例如开放目录专案(Open Directory Project，简称ODP目录)、雅虎目录(Yahoo!Directory)等。要自动构建网络资源目录，就需要实现对互联网上未知类别信息的分类，这里的信息类别一般被组织为一个层次式结构，典型的是一棵树(tree)或者有向无环图(Directed Acyclic Graph)，这种类别层次一般规模巨大，其类别数目可以达到数千、甚至数万之多。面向网页的大规模层次分类技术(large scale hierarchical classification)就是研究如何按照这样一个规模巨大的类别层次对网页进行准确分类，因此，大规模层次分类技术是构建互联网分类目录的基础，是构建健康、和谐的互联网环境的重要技术手段，同时也是很多网络应用的基础，包括绿色上网、网络信誉管理、安全过滤等。

类别层次规模巨大是大规模层次分类技术面临的一个主要挑战，大规模层次分类问题求解方法的不同主要体现在对这一挑战性问题的处理策略上，目前有三种处理策略：全局处理策略(overall-conquer)、分而治之的策略(divide-and-conquer)和化繁为简的策略(reduce-and-conquer)。整体处理策略将所有类别作为一个整体，在整个数据集上进行分类的学习，然后对待分类文档进行分类。分而治之策略按照类别层次将一个大规模的全局分类问题分解为一个个小规模的局部分类问题，然后分别进行分类的学习，对待分类文档进行自上而下的分类。化繁为简的策略通过搜索类别层次中所有与待分类文档相关的类别，然后在所有候选类别上进行分类的学习和预测，将一个大规模的分类问题降低为一个小规模的分类问题。

采用化繁为简策略的分类方法：首先根据待分类文档搜索候选类别，然后根据候选类别的样本训练分类器并对待分类文档进行分类，因此，这种方法又被称为两阶段分类方法，其核心思想是通过减小分类器学习的类别数目以提高分类准确率。两阶段方法基于这样一个假设：在一棵大规模类别层次树中，给定一个文档，其相关类别数量远少于不相关类别。两阶段分类方法的优点是通过候选搜索有效减小了数据规模，因此可以灵活的选择分类方法和分类器，分类准确率比较高，因此在大规模层次分类问题中应用的较为广泛。但是这种优点是建立在候选类别搜索正确的前提之上的，因为其中的分类依赖于候选搜索的准确性，要确保分类正确，就应当使计算出来的候选类别集合包含待分类文档的真实类别，因此，候选类别搜索是大规模层次分类中的一项关键技术，然而已有的两阶段分类方法并未对候选搜索方法进行深入研究。

发明内容

针对现有技术存在的问题，本发明旨在提供一种基于贪心策略和启发式算法搜索候选类别的方法，用以于大规模层次分类问题中搜索出包含待分类文档真实类别的候选类别，它采用评价指标V_k对搜索出的候选类别进行量化评价，且采用贪心策略和启发式算法得出最大的评价指标V_k值，进而，准确地搜索出候选类别。

本发明提供的一种基于贪心策略和启发式算法搜索候选类别的方法，用以从测试文档中搜索出候选类别，其包括以下步骤：

步骤S01、输入已知信息：提供样本集合I＝{d₁,d₂,...,d_n}，特征集合F＝{f₁,f₂,...f_m}，类别集合L＝{l₁,l₂,...l_r}；