[发明专利]一种群智任务动态冗余调度方法及装置

说明书

本发明公开了一种群智任务动态冗余调度方法及装置，所述方法包括：接收用户输入的总预算值和待完成的任务；为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。

技术领域

本发明涉及群智技术领域，尤其涉及一种群智任务动态冗余调度方法及装置。

背景技术

群智(Crowd Intelligence)是互联网带来的一种分布式问题求解模式。众包是群智的一种模式，指一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式包给非特定的大众网络的做法，常用应用场景比如reCAPTCHA验证码，数据(图片、视频、音频)标注，微写作等。由于群智的参与者往往来自普通大众群体，个体的任务处理质量参差不齐，为了保证群智任务的整体质量，群智任务大都采用冗余分发的方式。如图1所示，客户把群智问题(Task)提交给群智平台(以CrowdFlower为例)，将同一问题分发给多个工人，获得多份答案，然后通过设计汇聚算法对收到的答案进行汇聚，最终向客户返回一个质量高的答案。

通过群智进行知识的获取已经成为一种广泛采用的技术手段。例如：斯坦福大学给出的图片标注数据集(ImageNet)正是通过众包群智的方式来构建的。

一般来讲，知识获取问题是指在人工智能和知识工程系统中，机器(计算机或智能机)如何获取知识的问题。由于知识的缺乏和获取的难度，很多知识获取不是自动生成的，是基于人工的移植。而基于群智的知识获取很好的解决了这一问题。在基于群智的知识获取问题中，所有答案都是不同粒度的知识，以图片标注为例，标注出的“狗”、“哈士奇”、“哈巴狗”就是不同粒度的知识，而且这些备选标注是存在上下位词关系，而且可以从“哈士奇”这一知识中泛化出“狗”这一知识，由此，对于基于群智的知识获取问题，越高的专指度，或者细粒度，越能获取最好的知识。

通常客户需要处理多个同等类型的任务，比如给10万张图片做标注。然后根据预算和质量要求，给予群智平台一个冗余度N，即每个图片需要得到N个冗余标注，然后根据汇聚算法，得到图片的最终标注。一般来讲，每个标注的价格基本是一样的，由此标注单价乘以任务数量，再乘以冗余度就是总的预算。在现有的群智平台(如CrowdFlower、AMT等)都是采用固定冗余度的做法，然而虽然是同类的任务，但是每个任务其实是有差别的，简单任务其实不需要太多的冗余，而对于困难任务所设的冗余度可能远远不够。由此固定冗余度的传统做法虽然解决了群智数据的可靠性问题，但是也存在资源浪费的现象。

发明内容

为解决上述技术问题，本发明实施例提供了一种群智任务动态冗余调度方法及装置。

本发明实施例提供的群智任务动态冗余调度方法，包括：

接收用户输入的总预算值和待完成的任务；

为各个任务分配初始冗余度并发布至群智平台，其中，所述冗余度用于实现对所述任务的标注，得到标注结果；

从群智平台收集标注结果，并基于所述总预算值计算剩余预算值，判断所述剩余预算值是否大于零；

当所述剩余预算值大于零时，对所述各个任务进行质量评估，并基于质量评估结果选择出质量小于预设阈值的任务；为所选择出的任务分配预设数量的冗余度并发布至群智平台；

当所述剩余预算值等于零时，采用汇聚算法对各个任务的各个标注结果进行汇聚，得到各个任务的汇聚结果并输出给所述用户。

本发明实施例中，所述方法还包括：