[发明专利]中文比较句分类器模型生成、中文比较句识别方法及装置

说明书

技术领域

本发明涉及智能信息处理技术领域，尤指一种中文比较句分类器模型生 成、中文比较句自动识别方法及装置。

背景技术

随着互联网的迅速发展，中文信息也呈现出爆炸性的增长。其中，许多信 息涉及到多种事物的比较，例如同类商品的比较推荐等。自动识别这些比较信 息具有很大的实用价值。通过自动检测文章中的比较句，为准确地提取出比较 的实体及各实体之间的关系提供了前提。

传统汉语语言学研究领域对比较句的研究起步较早。关于比较句的定义， 马建忠提出“同一静字，以所肖者浅深不能一律，而律其不一，所谓比也”(《马 氏文通》，商务印书馆)。吕叔湘认为比较句是表示事之间异同或高下比较关系 的句子(《中国文法要略》，商务印书馆)。车竞提出比较句是指位于中含有比 较词语或比较格式的句子，并给出其基本结构形式“X+比较词+Y+W”(“现代 汉语比较句论略”，湖北师范学院学报，25卷第3期)。但这些研究限定在语言 学领域，需要人工判断一个句子是否是比较句，并没有提供可用计算机自动检 测的方法。

文本自动分类是利用计算机系统对文本集按照一定的分类体系或标准进 行自动类别标记的一类技术，主要可分为基于知识的方法和基于距离的方法。 基于知识的方法按照分类专家的经验知识，构建规则库作为分类器进行分类。 基于距离的方法按照文本之间的相似程度进行划分，常用的包括朴素贝叶斯、 支持向量机、神经网络和k近邻法等。传统的文本分类器把文本表示为词的集 合，不考虑词之间的位置和依赖关系，在应用到将句子分为“比较”和“非比较” 的问题上，效果不佳。因此，需要有一种更有效的识别汉语比较句的方法。

发明内容

本发明实施例提供一种中文比较句分类器模型生成、中文比较句识别方法 及装置，能够正确、有效地识别中文文本中的比较句。

一种中文比较句分类器模型生成方法，包括：

将数据集各句子中每一个包含设定的比较关键词的分句转化成一个序列， 并为所述序列建立与其对应分句所属句子相同的类别标记，所述序列包含按照 对应分句中各非关键词和关键词在所述对应分句中的顺序排列的所述非关键 词的词性标识项和所述关键词及其词性标识的组合项；以及由所述序列组成序 列集；

采用序列模式挖掘算法从所述序列集中挖掘出比较模式，由所述比较模式 组成比较模式集；

用每一个所述序列逐一匹配所述比较模式集中的各比较模式，根据匹配结 果及所述比较模式总数量，得到与每一个所述序列对应的一组特征向量；

根据所述特征向量及与其对应的所述序列的类别标记，生成分类器模型。

一种中文比较句分类器模型生成装置，包括：第一转化模块、模式挖掘模 块、第一匹配模块和模型生成模块；

所述第一转化模块，用于将数据集各句子中每一个包含设定的比较关键词 的分句转化成一个序列，并为所述序列建立与其对应分句所属句子相同的类别 标记，所述序列包含按照对应分句中各非关键词和关键词在所述对应分句中的 顺序排列的所述非关键词的词性标识项和所述关键词及其词性标识的组合项； 以及由所述序列组成序列集；

所述模式挖掘模块，用于采用序列模式挖掘算法从所述序列集中挖掘出比 较模式，由所述比较模式组成比较模式集；

所述第一匹配模块，用于用每一个所述序列逐一匹配所述比较模式集中的 各比较模式，根据匹配结果及所述比较模式总数量，得到与每一个所述序列对 应的一组特征向量；

所述模型生成模块，用于根据所述特征向量及与其对应的所述序列的类别 标记，生成分类器模型。

一种中文文本中比较句识别方法，包括：

将读入的句子中的每一个包含设定的比较关键词的分句转化为一个序列； 所述序列包含按照对应分句中各非关键词和关键词在所述对应分句中的顺序 排列的所述非关键词的词性标识项和所述关键词及其词性标识的组合项；

用每一个所述序列逐一匹配存储的比较模式集中的所有比较模式，得到与 每一个所述序列对应的特征向量；

通过存储的分类器模型，确定所述特征向量对应的类别标记；当任一个所 述特征向量对应的类别标记被确定为比较时，确定读入的句子为比较句；否则， 确定读入的句子为非比较句。

一种中文比较句识别装置，包括：第二转化模块、第二匹配模块、类别确 定模块和比较句确定模块；