[发明专利]段落向量化的方法和装置

说明书

本发明公开了一种段落向量化的方法和装置。其中，该方法包括：构建包括多个特征词的特征集合；基于预设知识库对待处理段落中的词进行替代，得到转换后段落；将转换后段落中属于特征集合的词作为转换后段落的特征，对转换后段落进行向量化。本发明解决了现有技术中在对段落进行向量化时采用基于词、句子的上下文计算距离，然后再通过聚类等方法计算得到的句子的向量无法反映规范性文本的内容结构特点的技术问题。

技术领域

本发明涉及自然语言处理领域，具体而言，涉及一种段落向量化的方法和装置。

背景技术

自然语言的向量化是NLP(Natural Language Processing，自然语言处理)技术一项艰巨的任务，是使用各种自然语言模型的基础，向量化的质量直接影响着最后的准确率。虽然很多公司都在使用各种向量化的技术，而且在开源平台中也有一定的向量化的工具，包括word2vector，sentence2vector等，但是针对不同文书特点及不同的需求，很难使用统一的抽象方法抽象出需求中真正需要的特征点。例如在解析法律文书等规范性文本时，需要对文本中的小段落根据内容进行划分成大段落，因此需要对每个小段落进行向量化，以抽象出分段的信息点，然而现有的一些向量化技术基本上都是基于词、句子的上下文来计算距离，再通过聚类等方法计算句子的向量，由于法律文书等相对广义范围的文本，有着更工整的结构和规范的语言，因此需要对文本中描述的内容结构和关键的描述内容进行向量化分类，使用现有的向量化技术分析出的向量，并不能反映文本的内容结构特点，并且法律文书是严谨类文书，有很多上下文相似但实际意义缺相差甚远的关键词，现有的向量化技术并不能对这些关键词进行区分。

针对上述现有技术中在对段落进行向量化时采用基于词、句子的上下文计算距离，然后再通过聚类等方法计算得到的句子的向量无法反映规范性文本的内容结构特点的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种段落向量化的方法和装置，以至少解决现有技术中在对段落进行向量化时采用基于词、句子的上下文计算距离，然后再通过聚类等方法计算得到的句子的向量无法反映规范性文本的内容结构特点的技术问题。

根据本发明实施例的一个方面，提供了一种段落向量化的方法，包括：构建包括多个特征词的特征集合；基于预设知识库对待处理段落中的词进行替代，得到转换后段落；将转换后段落中属于特征集合的词作为转换后段落的特征，对转换后段落进行向量化。

根据本发明实施例的另一方面，还提供了一种段落向量化的装置，包括：构建模块，用于构建包括多个特征词的特征集合；转换模块，用于基于预设知识库对待处理段落中的词进行替代，得到转换后段落；向量化模块，用于将转换后段落中属于特征集合的词作为转换后段落的特征，对转换后段落进行向量化。

在本发明实施例中，通过预先构建包括多个特征词的特征集合，然后基于预设知识库对待处理段落中的词进行替代，得到转换后段落，最后将转换后段落中属于特征集合的词作为转换后段落的特征，对转换后段落进行向量化，达到了对段落进行向量化的目的，本发明实施例中对待处理段落进行特征选择的时候是选择转换后段落中属于预构建的特征集合中的词，因此特征选择后的特征是最能体现段落结构化特点的特征，从而实现了最终得到的向量能够反映段落的结构化特点的技术效果，进而解决了现有技术中在对段落进行向量化时采用基于词、句子的上下文计算距离，然后再通过聚类等方法计算得到的句子的向量无法反映规范性文本的内容结构特点的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例1的一种段落向量化的方法流程图；

图2是根据本发明实施例1的法律规范文本示意图；

图3是根据本发明实施例2的一种段落向量化的装置结构图；