[发明专利]一种文本分类方法以及文本分类装置

权利要求书

1.一种文本分类方法，其特征在于，包括下述步骤：

NLP预处理步骤，对用户对话文字进行自然语言处理方法的分析，得到关于该用户对话文字的词集合和语义标注结果；以及

多维度特征选择步骤，对于所述词集合和语义标注结果按照多种规则组合，得到用户对话文字所包含的语义信息的向量化表征形式，

其中，所述多维度特征选择步骤包括下述子步骤：

抽取n-gram离散特征的子步骤；

抽取依存三元组特征的子步骤；以及

抽取WE分布式特征的子步骤，

其中，将三个子步骤得到的三部分的特征向量进行拼接，将拼接后的特征向量作为所述向量化表征形式，

其中，所述抽取依存三元组特征的子步骤包括：

将去除了所述词集合中的停用词的词集合以句为单位进行依存句法分析，其中，依存句法分析使用LTP工具包实现；以及

根据依存关系三元组索引表，将依存关系三元组特征向量中的对应位置置1，其中，根据是否包含客服业务的关键词，由训练语料中的依存关系三元组生成对应的索引表，所述客服业务的关键词为发起词、接收词以及关系类型，

其中，所述抽取n-gram离散特征的子步骤包括：

从所述NLP预处理步骤得到的用户对话词集合中抽取Unigram、Bigram和Trigram集合，其中，gram指代单词，Unigram、Bigram、Trigram分别指代一、二、三个单词连续出现的情形；以及

其中，根据n-gram索引表，将n-gram离散特征向量中的对应位置置1，其中，根据训练语料中的n-gram统计结果，将出现次数高的gram添加到gram索引表中，

所述抽取WE分布式特征的子步骤包括：

将去除了所述词集合中的停用词的词集合进行词向量检索匹配，其中，词向量匹配使用到深度学习模型训练得到的词向量文件；以及

将各词向量的每一维度进行最大值Max、最小值Min、平均值Avg计算，生成三个新的特征向量。

2.如权利要求1所述文本分类方法，其特征在于，

所述NLP预处理步骤包括下述子步骤：

将用户对话文字以词为单位进行分词和词性标注并得到词集合和语义标注结果，其中，所述自然语言处理方法使用LTP工具包实现；以及

根据停用词词表，去除所述词集合中的停用词，其中，所述停用词词表是根据训练语料中的分词和词性标注结果将出现次数过高的虚词作为停用词而生成。

3.如权利要求1或2任意一项所述文本分类方法，其特征在于，在所述多维度特征选择步骤之后，进一步具备：

分类步骤，对于所述多维度特征选择步骤得到的用户对话分类计算概率估计值。

4.如权利要求3所述文本分类方法，其特征在于，

所述分类步骤包括：

将通过所述多维度特征选择步骤得到的向量化的用户对话文字所包含的语义信息进行拼接；

将拼接后的特征向量作为规定分类系统的输入；以及

根据分类系统的输出概率，将其中最大项对应的用户对话意图，作为用户对话文本的分类标签。

5.如权利要求4所述文本分类方法，其特征在于，

所述规定分类系统包括：神经网络、支持向量机、逻辑回归分类系统中的一种。