[发明专利]自我优化的标注平台

摘要

用于优化机器学习标注器的系统、方法和产品。在一种方法中，接收标注请求并使用优胜者模型生成对应的标签推断。选择标注请求的一部分和对应的推断用作训练数据，并为所选择的请求生成标签，从而产生对应的增强结果。增强结果的第一部分作为训练数据提供给实验协调器，该协调器然后使用这些增强结果训练一个或多个挑战者模型。增强结果的第二部分作为评估数据提供给模型评估器，该模型评估器评估挑战者模型和优胜者模型的性能。如果其中一个挑战者模型的性能高于优胜者模型，那么模型评估器提升该挑战者模型以替换优胜者模型。