[发明专利]标注数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明实施例提供一种标注数据处理方法、装置、设备及计算机可读存储介质。本发明实施例的方法，通过获取标注区域的相似度大于预设阈值的至少一组标注数据，每组标注数据为一组待清洗数据；确定每组待清洗数据的新标注区域和新标注类别；根据每组待清洗数据的新标注区域和新标注类别，对每组待清洗数据进行清洗处理，可以自动识别出标注数据中的重复数据和差异数据，并自动完成对重复数据和差异数据的清洗，提高了标注数据的有效性。

技术领域

本发明实施例涉及数字出版技术领域，尤其涉及一种标注数据处理方法、装置、设备及计算机可读存储介质。

背景技术

随着对数字化信息资源的研究不断深入，以及深度学习在数字出版领域越来越广泛的应用，数据标注成为了一项非常重要的工作。页面对象标注的准确度与效率也成为了制约深度学习模型效果的因素。

目前，页面标注系统能够提供页面标注功能，并将用户对页面对象的标注数据进行记录并存储到数据库。但是，对于某些复杂页面，页面对象存在重叠、嵌套、相互包含等情况，对于同一页面的多次标注的标注数据存在重复数据和差异数据；例如标注区域的位置和大小、标注类别等可能存在偏差等。另外，多人对同一页面进行重复标注时，由于不同用户对同一个页面对象标注的标注数据存在差异，也会导致标注数据中存在大量的重复数据和差异数据。

发明内容

本发明实施例提供一种标注数据处理方法、装置、设备及计算机可读存储介质，用以解决页面标注系统的标注数据中存在大量的差异数据和重复数据的问题。

本发明实施例的一个方面是提供一种标注数据处理方法，包括：

获取标注区域的相似度大于预设阈值的至少一组标注数据，每组标注数据为一组待清洗数据；

确定每组待清洗数据的新标注区域和新标注类别；

根据每组待清洗数据的新标注区域和新标注类别，对每组待清洗数据进行清洗处理。

本发明实施例的另一个方面是提供一种标注数据处理装置，包括：

待清洗数据获取模块，用于获取标注区域相似度大于预设阈值的至少一组标注数据，每组标注数据为一组待清洗数据；

确定模块，用于确定每组待清洗数据的新标注区域和新标注类别；

清洗处理模块，用于根据每组待清洗数据的新标注区域和新标注类别，对每组待清洗数据进行清洗处理。

本发明实施例的另一个方面是提供一种标注数据处理设备，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现上述任一项所述的标注数据处理方法。

本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，

所述计算机程序被处理器执行时实现上述所述的标注数据处理方法。

本发明实施例提供的标注数据处理方法、装置、设备及计算机可读存储介质，通过获取标注区域的相似度大于预设阈值的至少一组标注数据，每组标注数据为一组待清洗数据；确定每组待清洗数据的新标注区域和新标注类别；根据每组待清洗数据的新标注区域和新标注类别，对每组待清洗数据进行清洗处理，可以自动识别出标注数据中的重复数据和差异数据，并自动完成对重复数据和差异数据的清洗，提高了标注数据的有效性。

附图说明

图1为本发明实施例一提供的标注数据处理方法流程图；

图2为本发明实施例二提供的标注数据处理方法流程图；

图3为本发明实施例二提供的另一标注数据处理方法流程图；