[发明专利]一种数据标注的方法、系统、设备及可读存储介质在审
申请号: | 202110342499.4 | 申请日: | 2021-03-30 |
公开(公告)号: | CN112906349A | 公开(公告)日: | 2021-06-04 |
发明(设计)人: | 李正华;周明月;龚晨;张民 | 申请(专利权)人: | 苏州大学 |
主分类号: | G06F40/117 | 分类号: | G06F40/117;G06F40/14;G06F40/211;G06F40/279;G06F40/30;G06N20/00 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王晓坤 |
地址: | 215131 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 标注 方法 系统 设备 可读 存储 介质 | ||
本申请公开了一种数据标注的方法,包括:根据输入的数据标注任务确定待标注数据;调用数据标注模型对待标注数据进行数据标注,得到对应的数据标注结果;判断数据标注结果与输入的人工标注结果是否一致;若一致,则确认数据标注结果正确。相较于人标人校和机标人校的方式,本申请可以从根本上解决标注者的认同倾向问题,充分挖掘对问题的理解差异,促进标注指南的完善、标注者水平的提高;本申请通过结合机器自动标注的辅助,相较于多人独立标注的方法可以有效减少标注的时间成本和金钱成本,在保证数据标注质量的同时极大的降低了成本。本申请同时还提供了一种数据标注的系统、设备及可读存储介质,具有上述有益效果。
技术领域
本申请涉及计算机数据处理领域,特别涉及一种数据标注的方法、系统、设备及可读存储介质。
背景技术
数据标注是指人在数据上标注一些额外的信息,这些信息体现了更多的关于数据的知识,从而对人和计算机处理提供便利。高质量的标注数据能有效挖掘数据信息,促进相关学科的技术进步。目前常见的数据标注方法有人标人校、机标人校和多人独立标注。这些标注方法在数据标注的两大重要考虑因素——质量和成本上各有千秋。
人标人校全人工进行,不仅成本较高,且存在校对者的认同倾向问题。机标人校标注速度相对快、成本低,但仍然存在标注者的认同倾向问题且整体质量较低。多人独立标注虽然可以从根源上解决认同倾向问题并有效提高质量,但其标注成本和审核成本很高,若去掉审核过程,则得到一个存在许多噪声的多标注数据,若不进一步消除不一致性,其利用价值较低。
因此,如何在保证数据标注质量的同时降低成本是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种数据标注的方法、系统、设备及可读存储介质,用于在保证数据标注质量的同时降低成本。
为解决上述技术问题,本申请提供一种数据标注的方法,该方法包括:
根据输入的数据标注任务确定待标注数据;
调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果;
判断所述数据标注结果与输入的人工标注结果是否一致;
若一致,则确认所述数据标注结果正确。
可选的,还包括:
若所述数据标注结果与所述输入的人工标注结果不一致,则将所述待标注数据标记为待审核数据;
输出所述待审核数据,以使审核人员对所述待审核数据进行人工审核。
可选的,还包括:
若所述数据标注结果与所述输入的人工标注结果不一致,则将所述待标注数据标记为待投票数据;
调用预设数目的投票模型对所述待投票数据的数据标注结果与人工标注结果进行投票,得到对应的投票结果;
确定得票最多的标注结果为所述待审核数据的最终数据标注结果。
可选的,所述数据标注模型包括句法标注模型,所述调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果,包括:
调用所述句法标注模型确定所述待标注数据内部词语之间的关系;
根据所述待标注数据内部词语之间的关系将所述待标注数据标注为对应的依存句法树。
可选的,所述数据标注模型包括语义标注模型,所述调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果,包括:
对所述待标注数据进行分词处理,得到至少一个词语;
调用所述语义标注模型依据词义数据库对所述词语进行语义标注,得到对应的语义标注结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110342499.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种快速拆装的双圆盘青贮割台
- 下一篇:基于封装基板的阵列式压力测量装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置