[发明专利]用于根据通用领域语料库来创建领域特异性训练语料库的方法和系统

说明书

一种用于生成领域特异性训练集的方法(100)，包括：生成(130)包括多个标记化文档的通用语料库，包括：(i)解析(132)从所述通用语料库中检索的文档；(ii)预处理(134)经解析的文档；(iii)对经预处理的文档进行标记化(136)；并且(iv)将所述标记化文档存储(138)在所述通用语料库中；生成(140)标记化条目的本体数据库，包括：(i)解析(142)从本体中检索的本体条目；(ii)预处理(144)经解析的条目；(iii)对经预处理的条目进行标记化(146)；并且(iv)将所述标记化条目存储(148)在所述本体数据库中；使用来自所述本体数据库的领域特异性标记化条目来查询(150)所述通用语料库中的所述标记化文档；基于所述查询来识别(160)特异于该领域的多个标记化文档；并且将识别出的标记化文档存储(170)在训练集数据库中，作为特异于所述领域的训练集。

相关申请的交叉引用

本申请要求于2018年11月29日提交的标题为“METHOD AND SYSTEM FOR CREATINGA DOMAIN-SPECIFIC TRAINING CORPUS FROM GENERIC DOMAIN CORPORA”的美国临时专利申请US 62/772661的优先权，通过引用将其全部内容并入本文。

技术领域

本公开内容总体上针对机器学习方法和系统，并且更特别地但非排他性地针对创建用于训练语言模型的训练集。

背景技术

包括深度学习在内的机器学习技术正越来越多地用于自然语言处理(NLP)应用。NLP应用存在于一群不断增长的群体中，包括金融和医疗保健。一些这样的应用包括例如命名实体识别(NER)和分类等。在医疗保健领域中，非常希望使临床工作流程自动化，以简化对临床相关患者数据的访问和决策支持。

大多数用于自然语言处理任务(例如，NER)的机器学习算法的开发通常都要求大量带标签的训练数据。然而，研究表明，通用数据源并不适合用于训练针对邻域特异性应用的模型。因此，获得大量领域特异性语料库是一种挑战，特别是在诸如医疗保健(用于开发NLP能力)之类的领域中。研究人员可以从几个临床站点访问数据，但是数据可能仍然不能提供该领域的综述情况，因此，在这样的有限数据上训练的模型可能无法进行良好的归纳。因此，在这样的数据上训练模型以供其他站点使用可能会带来一些问题，例如，词汇量输入不足、分类错误以及其他限制。

发明内容

一直都需要改进(例如在医疗保健领域中的)训练数据的语料库以及用于生成这些语料库的方法和系统。本文描述的各种实施例涉及用于创建领域特异性训练集的方法、相关装置和非瞬态机器可读介质，所述方法包括：从领域特异性本体中提取至少一个关键词；使用所述至少一个关键词来查询通用领域语料库以获得至少一个匹配的文章；将所述至少一个匹配的文章添加到领域特异性训练集。所述系统生成包括从一个或多个源获得的多个标记化文档的通用语料库，并且生成标记化本体条目的本体数据库。使用来自所述本体数据库的一个或多个领域特异性标记化条目来查询所述通用语料库中的所述标记化文档，由此识别出特异于该领域的多个标记化文档。所述系统将识别出的多个标记化文档存储为特异于所述领域的训练集。

通常，在一个方面中，提供了一种用于生成领域特异性训练集的方法。所述方法包括：(i)生成包括从一个或多个源获得的多个标记化文档的通用语料库，包括：解析从所述通用语料库或从另一文档源中检索的文档；预处理经解析的文档；对经预处理的文档进行标记化；并且将所述标记化文档存储在所述通用语料库中；(ii)生成标记化条目的本体数据库，包括：解析从本体中检索的本体条目；预处理经解析的条目；对经预处理的条目进行标记化；并且将所述标记化条目存储在所述本体数据库中；(iii)使用来自所述本体数据库的一个或多个领域特异性标记化条目来查询所述通用语料库中的所述标记化文档；(iv)基于所述查询来识别特异于该领域的多个标记化文档；并且(v)将识别出的多个标记化文档存储在训练集数据库中，作为特异于所述领域的训练集。