[发明专利]一种领域语料库构建方法及系统

说明书

本发明公开一种领域语料库构建方法及系统，其中方法包括如下步骤：术语发现步骤：在自然语料库中提取与领域相关的术语；概念发现步骤：从与领域相关的公文、单据和报告中，提取与领域有关的术语；短语发现步骤：从预设的大规模文档中采用监督机器学习算法或半监督机器学习算法获取可以表达概念的短语集合；概念归类步骤：对短语集合的短语进行归类，将归类后的短语和提取后的术语作为语料库的语料存到数据库中。本发明可以实现对特定业务领域的语料库的构建，解决现有特定业务领域的语料库构建问题。

技术领域

本发明涉及软件方法技术领域，尤其涉及一种领域语料库构建方法及系统。

背景技术

截止至目前，大量的语料库在中国研究中文信息处理的单位建立起来，语料库成为了研究中文信息处理的基本语言资源。没有语料库的支持，中文信息处理的研究将会寸步难行。目前国内语料库建设方面，通常都是面向通用领域。而对于特定业务领域的语料库，目前并没有很好的构建方法。

发明内容

为此，需要提供一种领域语料库构建方法及系统，解决现有特定业务领域的语料库构建问题。

为实现上述目的，本发明提供了一种领域语料库构建方法，包括如下步骤：

术语发现步骤：在自然语料库中提取与领域相关的术语；

概念发现步骤：从与领域相关的公文、单据和报告中，提取与领域有关的术语；

短语发现步骤：从预设的大规模文档中采用监督机器学习算法或半监督机器学习算法获取可以表达概念的短语集合；

概念归类步骤：对短语集合的短语进行归类，将归类后的短语和提取后的术语作为语料库的语料存到数据库中。

进一步地，所述概念归类步骤还包括：根据预设的基于概念归类规则的正则表达式，对短语进行归类。

进一步地，所述语料包括短语和每个短语对应的类别。

进一步地，还包括步骤：读取数据库中的语料，对获取到的文档进行语料匹配，根据匹配到的语料所属的文档领域，对文档进行分类。

进一步地，所述监督机器学习算法为支持向量机算法或者朴素贝叶斯算法。

进一步地，所述半监督机器学习算法为流型学习算法或者协同训练算法。

本发明提供一种领域语料库构建系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

区别于现有技术，上述技术方案可以实现对特定业务领域的语料库的构建，解决现有特定业务领域的语料库构建问题。

附图说明

图1为具体实施方式所述的方法流程图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，本实施例提供一种领域语料库构建方法，现有的语料库构建前一般要进行语料的搜集，现代计算机技术和网络资源使得语料库语料的获得变得方便容易。传统的语料库建设，语料输入工作极为浩繁，基本上靠手工键盘输入和扫描输入，费时费力，且容易出现错误，需要校对。如今大量的在线语料资源、光盘资料、因特网资源，包括新闻、邮件列表、电子邮件等，使语料库的建设和扩充变得非常的快捷方便。当然，用于不同业务领域目的的语料库对其语料来源可能要求不同，会影响到语料的采集。

语料库的主要工作包括有a)抽样和b)语料库的加工。在抽样中，语料库在语料抽样范围和文类覆盖方面都要尽可能取得平衡，要考虑每一文类、体裁、语域、主题类型等的抽样比例。