[发明专利]段落向量化的方法和装置

权利要求书

1.一种段落向量化的方法，其特征在于，包括：

构建包括多个特征词的特征集合；

基于预设知识库对待处理段落中的词进行替代，得到转换后段落；

将所述转换后段落中属于所述特征集合的词作为所述转换后段落的特征，对所述转换后段落进行向量化；

其中，基于预设知识库对待处理段落中的词进行替代，得到转换后段落包括：

基于所述预设知识库对所述待处理段落中的全部词或部分词的表示方式进行变换，得到所述转换后段落；

构建包括多个特征词的特征集合包括：基于所述预设知识库对包括多个段落的段落集合中的词进行替代，得到转换后段落集合；确定所述转换后段落集合的特征；从所述转换后段落集合的特征中选取预设数量的特征，构成所述特征集合。

2.根据权利要求1所述的方法，其特征在于，从所述转换后段落集合的特征中选取预设数量的特征，包括：

计算所述转换后段落集合的特征中每一个特征的信息熵增益；

按照信息熵增益从大到小的顺序从所述转换后段落集合的特征中选取预设数量的特征。

3.根据权利要求1所述的方法，其特征在于，基于所述预设知识库对包括多个段落的段落集合中的词进行替代之前，包括：

使用一阶依存语法将所述段落集合中相同含义的词进行聚类。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述知识库包括词林的词分类知识库、专业词汇词典知识库和命名实体识别知识库。

5.一种段落向量化的装置，其特征在于，包括：

构建模块，用于构建包括多个特征词的特征集合；

转换模块，用于基于预设知识库对待处理段落中的词进行替代，得到转换后段落；

向量化模块，用于将所述转换后段落中属于所述特征集合的词作为所述转换后段落的特征，对所述转换后段落进行向量化；

其中，所述转换模块用于通过以下步骤来基于预设知识库对待处理段落中的词进行替代，得到转换后段落：基于所述预设知识库对所述待处理段落中的全部词或部分词的表示方式进行变换，得到所述转换后段落；

所述构建模块包括：替代模块，用于基于所述预设知识库对包括多个段落的段落集合中的词进行替代，得到转换后段落集合；确定模块，用于确定所述转换后段落集合的特征；选取模块，用于从所述转换后段落集合的特征中选取预设数量的特征，构成所述特征集合。

6.根据权利要求5所述的装置，其特征在于，所述选取模块，包括：

计算模块，用于计算所述转换后段落集合的特征中每一个特征的信息熵增益；

选取子模块，用于按照信息熵增益从大到小的顺序从所述转换后段落集合的特征中选取预设数量的特征。

7.根据权利要求5所述的装置，其特征在于，所述构建模块还包括：

聚类模块，用于在所述替代模块基于所述预设知识库对包括多个段落的所述段落集合中的词进行替代前，使用一阶依存语法将所述段落集合中相同含义的词进行聚类。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述知识库包括词林的词分类知识库、专业词汇词典知识库和命名实体识别知识库。