[发明专利]使用随机文档嵌入的文本数据表示学习

说明书

本发明的实施例提供了一种用于执行文本数据的无监督特征表示学习的计算机实现的方法。该方法生成具有随机文本序列集合的参考文本数据，其中所述随机文本序列集合的每个文本序列具有随机长度且包括多个随机词，并且其中每个随机长度是从最小长度到最大长度采样的。从一分布中抽取该集合中的每个文本序列的随机词。该方法至少部分地基于所述随机文本序列集合与原始文本数据之间的一组计算距离来生成原始文本数据的特征矩阵。该方法提供特征矩阵作为一个或多个机器学习模型的输入。

技术领域

本发明一般地涉及机器学习系统，并且更具体地，涉及通过使用文本数据的随机文档嵌入来执行机器学习过程。

背景技术

短语机器学习广泛地描述从数据学习的电子系统的功能。机器学习系统、引擎或模块可包括可训练的机器学习算法，其可诸如在外部云环境中被训练以学习输入与输出之间的函数关系，其中函数关系当前未知。

短语文本数据广义地描述了包括一个或多个文本序列的电子系统的数据结构，其中每个文本序列持有一个或多个词的分组。文本序列的示例包括句子、段落、文档等。文本数据的示例包括多个句子、多个段落、多个文档等。短语文本序列和术语文档在本文中经常不可传授地使用。

学习有效的文本表示是许多机器学习和基于自然语言的处理(NLP)任务的关键基础，所述任务诸如文档分类和聚类、文档检索、机器翻译和多语言文档匹配。由于文本中没有明确的特征，一些人试图使用简单的方法，诸如通过使用词袋(BOW)技术来开发文本的有效表示。然而，BOW方法不考虑文本的词序和词的语义。此外，尽管已知一些词向量技术在语义上产生词表示，但是不太清楚句子或文档表示是否应当被构建在词表示之上或从头开始。一种已知的技术是使用被称为词移距离(WMD)的文档之间的距离度量来对准语义上相似的词。然而，WMD计算起来非常昂贵，并且难以用于超出简单的K最近邻(KNN)机器学习方法的特征嵌入。

因此，在本领域中需要解决上述问题。

发明内容

从第一方面来看，本发明提供了一种计算机实现的方法，用于执行针对文本数据的无监督特征表示学习，所述方法包括：由处理器系统产生包括随机文本序列集合的参考文本数据，其中所述随机文本序列集合中的每一文本序列具有随机长度且包括多个随机词，其中每一随机长度是从最小长度到最大长度取样的，且其中所述集合中的每一文本序列的所述随机词是从分布抽取的；由所述处理器系统至少部分地基于所述随机文本序列集合与原始文本数据之间的计算距离的集合来生成用于所述原始文本数据的特征矩阵；以及由处理器系统提供特征矩阵作为一个或多个机器学习模型的输入。

从另一方面来看，本发明提供了一种用于对文本数据执行无监督特征表示学习的系统，该系统包括一个或多个处理器，其被配置为执行一种方法，该方法包括：由所述系统产生包括随机文本序列集合的参考文本数据，其中所述随机文本序列集合中的每一文本序列具有随机长度且包括多个随机词，其中每一随机长度是从最小长度到最大长度取样的，且其中所述集合中的每一文本序列的所述随机词是从分布抽取的；由所述系统至少部分地基于所述随机文本序列集合与原始文本数据之间的计算距离的集合来生成所述原始文本数据的特征矩阵；以及由所述系统提供特征矩阵作为一个或多个机器学习模型的输入。

从另一方面来看，本发明提供了一种用于对文本数据执行无监督特征表示学习的系统，该系统包括：处理器；存储器；参考文本数据产生组件，其被配置为接收原始文本数据的概率分布，并产生包括随机文本序列集合的参考文本数据，其中所述随机文本序列集合中的每一文本序列具有随机长度且包括多个随机词，其中每一随机长度是从最小长度到最大长度取样的，且其中所述集合中的每一文本序列的所述随机词是从所述概率分布抽取的；以及机器学习组件，被配置为：接收所述原始文本数据的特征矩阵，其中所述特征矩阵是至少部分地基于所述随机文本序列集合与所述原始文本数据之间的计算距离的集合而生成的；以及提供特征矩阵作为一个或多个机器学习模型的输入。