[发明专利]用于根据通用领域语料库来创建领域特异性训练语料库的方法和系统

权利要求书

1.一种用于生成领域特异性训练集的方法(100)，包括：

生成(130)包括从一个或多个源获得的多个标记化文档的通用语料库，包括：(i)解析(132)从所述通用语料库或从另一文档源中检索的文档；(ii)预处理(134)经解析的文档；(iii)对经预处理的文档进行标记化(136)；并且(iv)将所述标记化文档存储(138)在所述通用语料库中；

生成(140)标记化条目的本体数据库，包括：(i)解析(142)从本体中检索的本体条目；(ii)预处理(144)经解析的条目；(iii)对经预处理的条目进行标记化(146)；并且(iv)将所述标记化条目存储(148)在所述本体数据库中；

使用来自所述本体数据库的一个或多个领域特异性标记化条目来查询(150)所述通用语料库中的所述标记化文档；

基于所述查询来识别(160)特异于该领域的多个标记化文档；并且

将识别出的多个标记化文档存储(170)在训练集数据库中，作为特异于所述领域的训练集。

2.根据权利要求1所述的方法，还包括：

从所述训练集数据库中检索(180)领域特异性训练集；并且

针对检索到的领域特异性训练集的领域来训练(190)机器学习算法，由此生成经领域特异性训练的算法。

3.根据权利要求2所述的方法，其中，用户识别要从所述训练集数据库中检索的领域特异性训练集。

4.根据权利要求1所述的方法，还包括以下步骤：

从多个源中检索(120)一个或多个文档；并且

将来自所述一个或多个文档的内容存储(122)在语料库数据库中。

5.根据权利要求1所述的方法，其中，用于查询所述通用语料库中的所述标记化文档的所述一个或多个领域特异性标记化条目是由用户选择的。

6.根据权利要求1所述的方法，其中，用于查询所述通用语料库中的所述标记化文档的所述领域特异性标记化条目还包括针对该条目的一个或多个同义词。

7.根据权利要求1所述的方法，其中，识别特异于所述领域的多个标记化文档包括使用基于规则的匹配或基于特征的匹配来进行匹配。

8.根据权利要求1所述的方法，其中，所述训练集数据库包括多个存储的领域特异性训练集。

9.一种用于生成领域特异性训练集的系统(400)，包括：

语料库数据库(462)，其包括从一个或多个源获得的多个文档；

本体数据库(463)，其包括本体；以及

处理器(420)，其被配置为：(i)生成包括从一个或多个源获得的多个标记化文档的通用语料库，包括：解析来自所述语料库数据库的文档；预处理经解析的文档；对经预处理的文档进行标记化；并且将所述标记化文档存储在所述通用语料库中；(ii)生成标记化条目的本体数据库，包括：解析从本体中检索的本体条目；预处理经解析的条目；对经预处理的条目进行标记化；并且将所述标记化条目存储在所述本体数据库中；(iii)使用来自所述本体数据库的一个或多个领域特异性标记化条目来查询所述通用语料库中的所述标记化文档；(iv)基于所述查询来识别特异于该领域的多个标记化文档；并且(v)存储识别出的多个标记化文档，作为特异于所述领域的训练集。

10.根据权利要求9所述的系统，还包括处理器，所述处理器被配置为：(i)从训练集数据库中检索领域特异性训练集；并且(ii)针对检索到的领域特异性训练集的领域来训练机器学习算法，由此生成经领域特异性训练的算法。

11.根据权利要求10所述的系统，还包括用户接口(440)，并且其中，所述用户接口被配置为接收对要从所述训练集数据库中检索的领域特异性训练集的识别。