[发明专利]评估众包环境中的工作者

摘要

这里描述了一种众包环境，其使用单阶段或多阶段方法来评估工作者关于所识别任务所执行的工作的质量。在多阶段情况下，评估系统在第一阶段确定工作者是否对应于垃圾代理。在第二阶段，针对非垃圾工作者，该评估系统确定该工作者在未来执行期望(例如，准确)工作的倾向性。该评估系统基于包括关注工作者的特征(其描述特定工作者所执行的工作)、关注任务的特征(其描述在该众包环境中执行的任务)和关注系统的特征(其描述该众包环境的配置的多个方面)的特征的集合进行操作。根据一个说明性方面，该评估系统使用至少一个模型执行其分析，该模型使用任意类型的监管机器学习技术所产生。

主权项

一种由一个或多个计算设备实施的用于对众包环境中的工作进行评估的方法，包括：接收与工作相关联的特征的集合，所述工作已由工作者使用计算设备在所述众包环境中关于识别任务而执行；基于所述特征中的至少一些特征执行垃圾分析，以确定反映所述工作者构成垃圾代理的可能性的垃圾得分；基于所述特征中的至少一些特征执行质量分析，以确定反映所述工作者提供关于所述识别工作而被评定为期望的工作的倾向性的声誉得分；以及基于所述垃圾得分和/或所述声誉得分执行动作，以减少经由所述众包环境收集的响应中的噪声，所述动作对应于以下各项中的一项或多项：基于所述垃圾得分和/或所述声誉得分，至少关于超时时段防止所述工作者接收另外的任务；和/或基于所述垃圾得分和/或所述声誉得分，对所述工作者被允许执行的工作量进行节制；和/或基于所述垃圾得分和/或所述声誉得分，将任务路由至针对所述任务他或她具有最大已证明熟练度的工作者，所述质量分析基于由监管机器学习处理产生的至少一个声誉评估模型的应用。