[发明专利]一种集成浅层和深度学习的App分类方法

说明书

一种集成浅层和深度学习的App分类方法，包括如下步骤：(1)将App名称输入互联网搜索引擎，对结果进行处理得到App文档；(2)基于向量空间模型抽取关键词分布特征，在此基础上采用浅层学习技术训练一个基分类器；(3)基于word2vec训练词向量，在此基础上采用卷积神经网络训练另一个基分类器；(4)设计一个协同学习框架，利用无标注样本对2个基分类器进行协同训练，并对训练结果进行融合得到最终的App分类器。本发明仅利用App名称实现对App的个性化分类；仅需要少量有标注样本即可建立准确率较高的分类模型；设计的协同学习框架考虑了不同基分类器的性能不平衡性，可减少无标注样本中噪声数据的影响。

技术领域

本发明涉及机器学习和自然语言处理技术，具体涉及一种基于集成学习的文本分类方法。

背景技术

随着App数量的迅猛增长，将海量的App进行合理分类对App管理有着十分重要的意义，也是支持许多高级App相关服务(如App推荐、用户偏好画像)的必要步骤。虽然部分App下载平台(如Google Play，App Store)已经对App进行了分类，但其仍有如下局限性：首先，下载平台的数据通常没有开放接口，无法被第三方程序和服务获取。其次，下载平台的类别体系是固定的，不能满足不同应用对类别体系的个性化需求。

针对上述需求，许多现有方法采用机器学习技术对App进行分类。例如，H.Zhu、E.Chen、H.Xiong等人在“Mobile App classification with enriched contextualinformation”(IEEE Transactions on Mobile Computing 13(2014):1550-1563)中从App名称和用户使用日志等数据中抽取特征建立App分类器。N.Chen、S.Hoi、S.Li等人在“SimApp:A framework for detecting similar mobile applications by onlinekernel learning”(WSDM 2015:305-314)中从各类元数据(如开发商、评论、permission文件、App图标)中挖掘特征以评价App间的语义相似度。然而，现有基于机器学习的App分类方法仍存在以下问题：

(1)依赖多种类型的数据：现有方法从App名称、开发商信息、评论信息、使用日志等多种类型数据中挖掘特征以建立分类模型，这极大的增加了系统的实现难度。事实上，最容易获取的App相关数据即App名称，因此设计仅基于App名称的App分类方法十分有必要。

(2)需要大量有标注样本：现有方法需要大量有标注样本来训练分类模型。然而，在需要个性化类别体系的情况下，只能对App样本的类别进行人工标注，工作量极大。因此，实际操作过程中往往只能得到少量的有标注样本，大量样本是没有标注的。

发明内容

为了克服已有App分类方法的依赖多种类型的数据、需要大量有标注样本的不足，本发明提出了一种集成浅层和深度学习的App分类方法，该方法具有如下特性：

(1)仅依赖App名称建立App分类模型。

(2)利用少量有标注样本和大量无标注样本建立App分类模型。

(3)由于浅层学习模型和深度学习模型通常性能差异较大，该方法为协同学习过程设计了一种有倾斜的样本挑选方案，以减少无标注样本中噪声数据的影响。

本发明解决其技术问题所采用的技术方案是：

一种集成浅层和深度学习的App分类方法，包括以下步骤：

(1)基于互联网知识对App进行语义扩展，过程如下：

(1-1)搜索片段获取：将App名称作为搜索关键词，输入互联网搜索引擎API，得到搜索片段；

(1-2)App文档形成：对搜索片段进行过滤，合并剩下的搜索片段，形成App文档；