[发明专利]模型辅助式数据标注系统及标注方法有效
申请号: | 201911075918.1 | 申请日: | 2019-11-06 |
公开(公告)号: | CN110880021B | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 张发恩;敖川;秦永强 | 申请(专利权)人: | 创新奇智(北京)科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 广州鼎贤知识产权代理有限公司 44502 | 代理人: | 丁雨燕 |
地址: | 100080 北京市海淀区海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 辅助 数据 标注 系统 方法 | ||
1.一种模型辅助式数据标注系统,用于对输入图像进行数据标注,其特征在于,包括:
模型辅助标注子系统,用于基于训练形成的辅助标注模型自动对所述输入图像进行数据标注,并得到一模型辅助数据标注结果并存储;
人工标注子系统,连接所述模型辅助标注子系统,用于将所述输入图像提供给标注人员进行人工数据标注,并得到一第一人工数据标注结果并存储,
所述人工标注子系统还用于将所述模型辅助标注子系统标注的所述模型辅助数据标注结果提供给所述标注人员,以对所述模型辅助数据标注结果进行进一步的人工标注,得到一第二人工数据标注结果并存储;
所述模型辅助标注子系统还用于以所述模型辅助数据标注结果、和/或所述第一人工数据标注结果、和/或所述第二人工数据标注结果为训练样本,训练得到所述辅助标注模型;所述模型辅助标注子系统中包括:
超参策略选择模块,用于提供给一模型训练模块选择训练所述辅助标注模型所需的超参数;
网络架构选择模块,用于提供给所述模型训练模块选择训练所述辅助标注模型所需的网络架构;
模型训练模块,分别连接所述超参策略选择模块和所述网络架构选择模块,用于以所述模型辅助数据标注结果、和/或所述第一人工数据标注结果、和/或所述第二人工数据标注结果作为训练样本,并基于所选的各所述超参数和对应的所述网络架构,训练得到多个所述辅助标注模型;
模型评价模块,连接所述模型训练模块,用于对各所述辅助标注模型进行模型评价,最终确定用于对输入图像进行数据标注的最优的所述辅助标注模型;
模型推理模块,连接所述模型评价模块,用于将最优的所述辅助标注模型推送给一模型辅助数据标注模块;
模型辅助数据标注模块,连接所述模型推理模块,用于基于最优的所述辅助标注模型自动对所述输入图像进行数据标注,并得到所述模型辅助数据标注结果并存储。
2.如权利要求1所述的模型辅助式数据标注系统,其特征在于,所述人工标注子系统中具体包括:
图像获取模块,用于获取所述输入图像、和/或所述模型辅助数据标记结果;
多边形区域标注模块,连接所述图像获取模块,用于将所述输入图像、和/或所述模型辅助数据标记结果通过一人机交互界面提供给所述标注人员,并提示所述标注人员在所述输入图像、和/或所述模型辅助数据标记结果中以多边形区域标注方式标注出关联于待标注对象的多个多边形区域,得到一区域标注结果并存储;
类别标注模块,连接所述多边形区域标注模块,用于提供给所述标注人员对各所述多边形区域进行对应的类别标注,得到一类别标注结果;
任务分发模块,分别连接所述多边形区域标注模块和所述类别标注模块,用于将所述区域标注结果、和/或所述类别标注结果分发给对应的所述标注人员,以提供给对应的所述标注人员对所述区域标注结果、和/或类别标注结果进行进一步的纠正标注,得到纠正标注结果并存储;
质检审核模块,连接所述任务分发模块,用于提供给质检审核人员对所述纠正标注结果进行质检审核,得到一质检审核结果并存储;
人工数据标注结果输出模块,分别连接所述多边形区域标注模块、所述类别标注模块、所述任务分发模块和连接所述质检审核模块,用于将所述区域标注结果、和/或所述类别标注结果、和/或所述纠正标注结果、和/或所述质检审核结果作为人工数据标注结果并输出;
交互模块,分别连接所述图像获取模块、所述多边形区域标注模块、所述类别标注模块、所述任务分发模块、所述质检审核模块和所述人工数据标注结果输出模块,用于实现所述人工标注子系统与所述标注人员以及与所述质检审核人员的人机交互。
3.如权利要求2所述的模型辅助式数据标注系统,其特征在于,所述人工标注子系统还包括:
绩效管理模块,分别连接所述多边形区域标注模块、所述类别标注模块、所述任务分发模块和所述质检审核模块,用于对各所述标注人员和各所述质检审核人员进行工作绩效管理。
4.如权利要求1所述的模型辅助式数据标注系统,其特征在于,所述模型辅助标注子系统通过一API应用程序接口将所述模型辅助数据标注结果发送给所述人工标注子系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新奇智(北京)科技有限公司,未经创新奇智(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911075918.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置