[发明专利]用于众包的方法和装置

说明书

本文公开了用于众包的方法和装置。在一个实施例中，可以由众包平台发布众包任务并确定众包任务被用户领取。随后用户可以执行该众包任务，并且使用客户端设备来收集与执行众包任务相关的行为信息以及执行众包任务的任务结果。众包平台可从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果，并基于该行为信息来对任务结果进行评级，以确定任务结果是否可信。本文还公开了相应的众包平台和计算机可读介质。

技术领域

本公开涉及计算机领域，尤其涉及用于众包的方法和装置。

背景技术

众包是指任务发布者通过众包平台来公开发布任务，该众包平台的用户可以领取并完成任务的一种解决方案。用户完成众包任务后可获得奖励。众包任务可以是线上任务，例如对数据进行人工标注、答题等。众包任务也可以是线下任务，这需要用户实地活动，例如跑腿、推广任务等。众包解决方案具有灵活、廉价、快速、规模不受限制等优点，因此在远程工作、软件测试、人工智能的内容筛选及机器学习的训练数据标记等领域具有日益广泛的应用。

然而，众包任务被发布之后可能由不确定的用户执行，由于用户的态度、能力、对任务的理解等问题而可能导致任务的执行结果不尽如人意。例如，在对数据进行人工标注时，有的用户比较认真负责，有的用户则敷衍了事，导致一些数据标注错误但无法筛选出可能标注错误的数据，使得人工数据标注的可信度不高，进而严重影响这些数据的有效性。

一种提高众包任务结果准确率的方案是交叉验证，即对同一个事项发布两个或更多个众包任务，如果这两个或多个众包任务的结果相同，才作为有效的任务结果。然而，如果对每件事项发布两个或更多个众包任务，则任务量和成本将显著增加。此外，多个不同的任务结果被直接摒弃，这使得其中所包含的大量有效信息被浪费。

因此，本领域需要高效的用于众包的方法和装置。

发明内容

本文公开了用于众包的方法和装置。例如，可以由众包平台发布众包任务并确定众包任务被用户领取。随后用户可以执行该众包任务，并且使用客户端设备来收集与执行众包任务相关的行为信息以及执行众包任务的任务结果。众包平台可从客户端设备获取与执行众包任务相关的行为信息以及执行众包任务的任务结果，并基于该行为信息来对任务结果进行评级，以确定任务结果是否可信。

在一个实施例中，提供了一种用于众包的方法，其包括：由众包平台发布众包任务；确定所述众包任务被用户领取；从客户端设备获取与执行所述众包任务相关的行为信息以及执行所述众包任务的任务结果；以及基于所述行为信息来对所述任务结果进行评级，以确定所述任务结果是否可信。

在一方面，该方法还包括：基于所述行为信息与所述众包任务的匹配度、所述任务结果的质量和/或所述用户的信用值来确定所述任务结果的可信度，并基于所述可信度来对所述任务结果进行评级。

在一方面，所述任务结果的可信度包括所述行为信息与所述众包任务的匹配度、所述任务结果的质量和所述用户的信用值的加权值。

在一方面，该方法还包括：如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；以及如果所述任务结果的可信度低于所述第一阈值，则确定所述任务结果不可信。

在一方面，该方法还包括：如果所述任务结果的可信度高于第一阈值，则确定所述任务结果可信；如果所述任务结果的可信度低于第二阈值，则确定所述任务结果不可信；以及如果所述任务结果的可信度在第一阈值与第二阈值之间，则确定所述任务结果是存疑的，其中所述第一阈值高于所述第二阈值。

在一方面，该方法还包括：如果所述任务结果可信，则确定所述众包任务完成并将所述任务结果作为所述众包任务的结果；或者如果所述任务结果不可信，则重新发布所述众包任务以获得新的任务结果。