[发明专利]获取文本意图的方法和系统

说明书

本申请提供了获取文本意图的方法和系统，包括：根据本地数据库中的历史文本构建分词词典；通过包含所述分词词典的分词工具对所述历史文本进行分词，获取分词集合；通过预设的空间向量模型和TF‑IDF构建所述历史文本的特征向量；通过所述特征向量和预设的意图类别对预设的支持向量机分类模型进行训练；通过经过所述训练的支持向量机分类模型获取待分类文本的意图类别。使得分词词典冗余更少，分词结果更加精确，提高了文本意图分类的效率和准确性。

技术领域

本申请属于文本意图获取领域，尤其涉及获取文本意图的方法和系统。

背景技术

随着信息技术的研发及应用日新月异，工业互联网建设已经纳入国家新型基础设施建设的范畴。在日常工业互联网服务程序中，通过客户发送的需求文本自动确定对应的服务意图的类别是一个关键部分，也是运维服务处理和执行的第一步。通过自动确定服务意图的类别，可以更加快速和准确地执行运维操作，或是将任务分派给相应的服务团队来解决。

由此可见，意图分类实际上一项文本分类任务，其中，文本预处理的效果通常会持续影响后续分类任务的准确率，尤其是分词带来的影响。通用的分词工具通常不包括对应领域的分词词典，在分词的时候容易错分。

发明内容

本发明实施例的主要目的在于提供获取文本意图的方法和系统，使得分词词典冗余更少，分词结果更加精确，提高了文本意图分类的效率和准确性。

第一方面，提供了获取文本意图的方法，方法包括：

根据本地数据库中的历史文本构建分词词典；

通过包含所述分词词典的分词工具对所述历史文本进行分词，获取分词集合；

通过预设的空间向量模型和TF-IDF构建所述历史文本的特征向量；

通过所述特征向量和预设的意图类别对预设的支持向量机分类模型进行训练；

通过经过所述训练的支持向量机分类模型获取待分类文本的意图类别。

在一个可能的实现方式中，所述通过预设的空间向量模型和TF-IDF构建所述历史文本的特征向量，包括：

根据公式：获取所述分词的TF-IDF值，其中，表示词在文本中出现的次数，表示文本的总词数，表示文本集合的大小，表示文本集合中包含词的文本数量；

根据所述TF-IDF值获取所述历史文本的特征向量。

在另一个可能的实现方式中，所述根据本地数据中的历史文本构建分词词典，包括：

获取本地数据库中的历史文本，并从所述历史文本中生成n-gram构成的候选词集合；

按照词频、点互信息、邻接熵、语言规则的顺序依序对所述候选词集合进行候选词过滤，获取过滤后候选词集合，所述词频为单个候选词在所述候选词集合中出现的次数。

在另一个可能的实现方式中，所述按照词频、点互信息、邻接熵、语言规则的顺序依序对所述候选词集合进行候选词过滤，获取过滤后候选词集合，包括：

过滤所述候选词集合中词频小于预设的词频阈值的候选词，获取第一候选词集合；

过滤所述第一候选词集合中点互信息小于预设的点互信息阈值的候选词，获取第二候选词集合，所述点互信息根据公式：获取，其中，n为候选词w的长度，是候选词在语料库中出现的频率，是中的第i个中文汉字或英文单词，和是组成候选词w的两段字符串，，分别是这两段字符串在语料库中的频率；

过滤所述第二候选词集合中邻接熵小于预设的邻接熵阈值的候选词，获取第三候选词集合，所述邻接熵根据公式：获取，其中，和分别是候选词的左右信息熵，和分别是候选词的左右邻接字符的集合，和分别是左右邻接字符，和分别是左右邻接字符的频率，候选词的邻接熵取和两者的最小值；

过滤所述第三候选词集合中不符合语法规则和组合词规则的候选词，获取过滤后候选词集合。