[发明专利]人机交互学习中的交互区段提取

摘要

非常大的数据的集合可能难以搜索和/或分析。通过在有用的类别中自动对查询和网页进行分类，以及利用这些分类得分作为相关性特征，能够显著提升相关性。完整的方法可能需要构建大量的分类器，对应于各种类型的信息、活动和产品。在大的数据集上提供分类器和图式器的创建。在数十亿条目上练习分类器和图式器可以通过添加可用的元数据来显露数据所固有的价值。一些方面包括主动标注探索、自动正则化和冷启动，通过条目数量和分类器数量来进行缩放、主动特征化以及分割和图式化。

主权项

1.一种由用户针对机器学习系统来构建区段提取器的方法，包括：存储数据条目集合，其中，每个数据条目包括多个标记；提供区段提取器，所述区段提取器能够被训练用于将数据条目中的区段识别为概念的示例，其中，所述区段包括一组标记；在用户界面上呈现表示所述概念的概念分级，其中，所述概念分级描绘一个根节点以及一个或多个子节点，所述根节点对应于所述概念，所述子节点对应于作为所述概念的组成部分的分级子概念，其中所述子节点描绘标识与所述子节点对应的子概念的相应的标签，其中，所述子节点中的一个或多个能够由用户选择以用于对所述数据条目中的标记进行标注，以及其中，对所述概念分级中的子节点进行的选择标识了被用来对在所述数据条目中的标记进行标注的相应的标签；接收对与在所述概念分级中的选定的子概念相对应的子节点的用户选择；使用所述区段提取器以从多个数据条目中选择第一数据条目，所述第一数据条目被预测为包括与所述概念分级相关联的所述概念的示例，其中，所述示例由所述第一数据条目的标记中的一个或多个表示；显示所述第一数据条目，其中，显示所述第一数据条目包括呈现一个或多个预标签的第一集合，所述一个或多个预标签的第一集合将一个或多个标记的第一集合识别为所述选定的子概念的预测的肯定示例；接收在显示的第一数据条目中的第一标记的用户选择，所述用户选择将所述第一标记标注为所述选定的子概念的肯定示例或否定示例；将一个或多个预标签的所述第一集合替换为一个或多个预标签的第二集合，一个或多个预标签的所述第二集合将一个或多个标记的第二集合识别为所述选定的子概念的预测的肯定示例；以及至少基于将所述第一标记标注为所述选定的子概念的示例来训练所述区段提取器。