[发明专利]一种基于众包平台处理图像标注任务的交互方法

权利要求书

1.一种基于众包平台处理图像标注任务的交互方法，其特征在于，首先构造一套线上众包工作模式，使得任务需求方和众包成员可以在上面完成标注任务，其次，以图像标注任务为主要研究和切入点，去设计和实现相应的交互方法；具体内容如下：

（一）构建图像标注任务的分类体系，搭建众包平台

将所面临的图像标注任务分为以下四类：

（1）图像语义标注：主要针对单张图片的语义概括或者标签定义，包括对其添加一至多个关键词进行标注；或者通过绑定一个问题的形式提供给众包工作者进行标注；

（2）图像点位标注：主要针对单张图片中的多个部位确定，对该图片中需要确定的部位的位置进行标注，以方便用户能够快速定位到图片这些部位的位置；图像点位标注需要提供待标注部位的名称集，众包工作者根据名称集在该图片中标注出具体的位置点；

（3）图像区域标注：主要针对单张图片中的物体识别，并确定物体所在的具体区域，对该图片中所需识别物体的位置区域进行标注，以方便用户能够快速定位到图片这些部位的位置，并且能够从图片中截取这些物体，进行后续的分析；图像区域标注需要提供待标注物体的名称集，众包工作者根据名称集在该图片中标注出具体的物体区域；

（4）图像序列筛选标注：主要针对多张图片或视频的图像帧序列，通过对多张图片进行筛选，标注记录下某一些特殊图片的序号，以方便用户能够快速定位到图片集合中这些特殊图片的序号位置；图像序列筛选标注需要提供详细的筛选标注规则，众包工作者根据筛选标注规则在该图片中标注出具体的图片序号；

另外，通过开源框架“pybossa”搭建一个众包平台-“众研”平台，作为针对图像标注任务交互方法研究并应用的实验平台；

（二）建立交互方法的设计准则和设计流程

交互方法的设计流程如下：首先搭建图片服务器，建立任务导入文本生成脚本以及增加本地CSV文件导入模块，从而优化任务上传过程；其次，构建结果检验机制、可视化和个性化机制过程，进行交互界面和算法设计从而优化任务标注过程；

（三）设计基于众包平台处理图像标注任务的交互方法的具体操作步骤

设计的交互方法的具体操作流程如下：

首先，当用户点击做任务按钮后，进入图像标注页面时触发任务显示函数，此时，当前任务和标注用户将作为系统的输入参数，根据输入参数，首先验证该任务是否全部完成，若未完全完成，则提示相关的提示信息，否则加载用户任务完成进度条，初始化标注点位和答案记录表格；

然后，验证图片URL的有效性，根据图片原始大小和用户界面尺寸作相应的自适应调节；根据标注点位移动触发事件，记录点位像素数组并将其更新到前台答案记录表格中显示，图片自适应调整和标注点位记录，自适应调整：首先根据图片Url获取图像基本信息，如果原图长宽比大于默认图片框的长宽比，则以默认图片框的长为基准，对原图进行缩放，否则，则以默认图片框的宽为基准，对原图进行缩放，最终结果返回缩放比例；标注点位记录：先计算点位在默认图片框中的像素坐标，然后乘以缩放比例，计算并返回点位的真实像素坐标；

最后，若用户点击提交结果按钮，则根据提前定义的结果规则去验证结果的有效性；若有效，则返回记录答案；否则返回相关报错信息；验证结果的有效性：在用户提交任务结果后，将此结果和结果规则的每一条规则进行比对校验，如果全部符合，则返回true,否则返回false；通过比对当前答案是否符合结果规则，进行结果提交前的有效校验，从而规避一些基础的错误，提高标注准确度。

2.根据权利要求1所述的基于众包平台处理图像标注任务的交互方法，其特征在于，所述的实验平台具有如下功能：雇主可以在平台上创建项目，在创建时可以为任务添加详细描述，并设置是否允许匿名用户参与，任务优先级、任务冗余度相关属性；项目创建后通过模板导入不同类型的任务，包括声音模式识别、图像模式识别、文件抄写、视频模式识别任务；对于每个项目，任务创建者可以创建博客供工人进行交流；项目导入任务并发布后，工人可以开始执行项目中的每个任务，执行过程中，任务创建者可以通过任务浏览功能在线观看每个任务的执行情况；同时，任务创建者可以随时通过结果导出功能将该项目中执行任务的结果导出到本地进行查看。

3.根据权利要求1所述的基于众包平台处理图像标注任务的交互方法，其特征在于，按照对图像标注任务的四种分类，其对应的交互模板方案如下：

（1）语义标注

界面布局：采用两栏的形式，左边栏要显示的内容包括：问题描述，可选答案，任务进度条，提示框；右边栏要显示的内容为：图片框，包括要来加载待标注的图片；

内容来源：其中待标注图像的URL、问题、可选答案以及提示内容来自于任务发布方；任务进度以及当前任务ID来自于数据库查询；

标注的方式：众包工作者通过鼠标左键点击可选答案；

记录标注结果的方式：可选答案框触发点击事件则记录该任务的标注结果；

提交结果并进入下一个任务的方式：众包工作者点击可选答案框，系统记录标注结果后，跳转至下一个任务的标注界面；

（2）点位标注

界面布局：采用多行多列的形式，第一行采用单栏的形式，用来显示提示框与提示内容；第二行采用单栏的形式，用来显示任务进度条以及任务ID，第三行采用三栏的形式，第一栏要显示的内容为图片框，占该行宽度比50%，第二栏要显示的内容为可拖拽的带序号的图标，占该行的宽度比10%；第三栏要显示的内容为一个表格，包含序号，点位描述，点位坐标；

内容来源：其中待标注图像的URL、标注点位框答案以及提示内容来自于任务发布方；任务进度以及当前任务ID来自于数据库查询；

标注的方式：众包工作者通过鼠标左键拖拽标注点图片到图片框的相应点位上完成标注；

记录标注结果的方式：左键选中某个拖拽图标时，进行拖拽动作将其拖拽至图像中某个部位松开时，系统需要记录该点位在图像中的像素坐标点，并将其在答案表格框中，动态显示；

提交结果并进入下一个任务的方式：点击提交按钮时，系统记录答案后，跳转至下一任务的标注界面；

（3）区域标注

界面布局：采用多行多列的形式，第一行采用单栏的形式，用来显示提示框与提示内容；第二行采用单栏的形式，用来显示任务进度条以及任务ID，第三行采用两栏的形式，第一栏要显示的内容为可选颜色列表，第一栏要显示的内容为可选形状列表，第四行采用两栏的形式，第一栏为图片框，第二栏要显示的内容为一个表格，包含序号，区域描述，中心点坐标，半径或边长；

内容来源：其中待标注图像的URL、标注区域颜色、形状以及提示内容来自于任务发布方；任务进度以及当前任务ID来自于数据库查询；

标注的方式：众包工作者可选择标注颜色以及标注形状，不选的话会使用系统默认的颜色和形状，通过鼠标左键直接在图片的相应区域上点击绘制该形状完成标注；

记录标注结果的方式：绘制完标注形状后，系统需要记录该点位在图像中的中心坐标点以及半径或边长，并将其在答案表格框中，动态显示；

提交结果并进入下一个任务的方式：点击提交按钮时，系统记录答案后，跳转至下一任务的标注界面；

（4）序列筛选标注

界面布局：采用多行多列的形式，第一行采用单栏的形式，用来显示提示框与提示内容；第二行采用单栏的形式，用来显示任务进度条以及任务ID；第三行采用单栏的形式，交叉显示待标注结果和序列号；第四行采用多栏的形式，动态加载显示多张图片；

内容来源：其中待标注图像的URL、序列号以及提示内容来自于任务发布方；任务进度以及当前任务ID来自于数据库查询；

标注的方式：众包工作者通过浏览动态加载出来的图片，确定序列号，并将其手动填写至答案记录框，填完则完成标注；

记录标注结果的方式：待标注结果框可供众包工作者输入相应的图片序列号，输入后则记录该答案；

提交结果并进入下一个任务的方式：点击提交按钮时，系统记录答案后，跳转至下一任务的标注界面。