[发明专利]一种语料库的检索方法及系统

说明书

技术领域

本发明涉及语料库检索技术领域，特别涉及一种语料库的检索方法及系统。

背景技术

语料库是以采样方式收集的电子文本集合，通常用于研究语言或语言的变体。对 于数据驱动的语言或语言的变体研究，除语料库外，还需要软件工具对语料库内容进行分 析和挖掘，软件工具对于语料库的发展和应用起到了至关重要的作用。目前的语料库处理 工具，包括：WordSmith、MonoConcPro、Conordance及在线语料库SketchEngine等，这些工 具的主要功能包括：词汇用法及句法检索、词汇的自动标注、手工标注辅助工具、文本整理、 统计分析等等。

语料库研究中最常用的功能是词汇用法及句法检索。词汇用法及句法检索的核心 是如何利用简单规范的符号模板来描述自然语言的词汇、句法特征，以便计算机按照该模 板在语料库中检索，找出匹配的词汇、段落及上下文。目前常用的方法有两种：一种是正则 表达式描述方法；另一种是直接利用软件界面布局来规定有限的几种检索形式。正则表达 式描述方法需要联合使用词性标注码及句法标注码，语言研究人员在检索时需要记住所有 的标注码规则和正则表达式规则，但正则表达式的语法抽象复杂，可读性差，不便掌握，对 于初学者而言，出错的几率很高。利用软件界面布局方式(如图1所示)完全摒除了正则表达 式的检索录入方式，使用者不需要记忆大量的正则表达式，但其使用不够灵活，特别是处理 多个词汇的组合时，因其界面固定，只能实现简单的匹配方式，无法满足语言研究人员对多 种词汇组合方式的检索需求，尤其是不能支持足够的句法。采用正则表达式或软件界面布 局方式进行检索时，其搜索算法是线性的读取检索条件中的每个字符，逐个解析出字符单 元，然后通过多次遍历整个语料库来定位检索目标，检索效率低。另外，正则表达式和软件 界面布局方式均无法简单直观地描述检索内容，且不支持词汇原文、词性标注码和句法标 注码的混合检索，无法充分满足语言研究人员的需求。

发明内容

为了解决现有语料库检索方法灵活性差、检索效率低及不支持混合检索的问题， 本发明提供了一种语料库的检索方法，所述方法包括：

根据检索条件和构建规则构建检索句法树；

按照层次优先顺序，遍历语料库中的句法树，查找与所述检索句法树相匹配的节 点，输出检索结果。

所述按照层次优先顺序，遍历语料库中的句法树，查找与所述检索句法树相匹配 的节点，输出检索结果的步骤具体包括：

读取所述检索句法树中的每个字符串，按照层次优先顺序，从语料库的根节点开 始遍历比较，查找与每个字符串相匹配的节点；

从语料库中提取与每个字符串相匹配的节点的标注数据，并输出所述标注数据。

所述检索条件包括词法描述、短语或词汇和短语的组合。

所述词法描述包括词汇原文、词性子类和词汇变体；所述词性子类包括词性子类 标识符和词性子类编码，并且所述词性子类标识符被添加在所述词性子类编码之前；所述 词汇变体包括词汇变体标识符和词汇原文，并且所述词汇变体标识符被添加在所述词汇原 文之前。

所述短语的结构包括短语类型标注代码，以及短语内容特征、句法树深度和短语 中所包含单词个数中的一种或几种。

所述短语内容特征为嵌套结构方式的短语内容特征，包括一个或多个短语内容特 征。

所述短语内容特征包括短语内容特征标识符和词性标注代码；所述短语内容特征 标识符包括部分内容特征标识符和全部内容特征标识符；所述部分内容特征标识符用于描 述短语所包含的部分内容特征，所述全部内容特征标识符用于描述短语所包含的全部内容 特征；所述词性标注代码由字母或字母和数字组合构成；所述句法树深度包括句法树深度 标识符和短语所在子树句法树层数；所述短语中所包含单词个数包括单词个数标识符和短 语中的单词个数。

所述词性标注代码前添加转意符号，所述转意符号为非英文字母形式的符号。

所述短语类型标注代码由字母组合构成；所述短语中的单词个数为单个数值或数 值区间。