[发明专利]文本类数据大规模分类标注方法、系统、装置及存储介质

说明书

本发明公开了一种文本类数据大规模分类标注方法、系统、装置及存储介质，该方法包括从待标注语料中筛选具有代表性的语料作为典型语料；对典型语料进行分析，提取关键特征；根据关键特征，提取分类对应的匹配规则和特征词，对匹配规则和特征词进行验证；将验证通过的匹配规则保存至规则库，将验证通过的特征词保存至特征词库；根据规则库和特征词库，对文本类数据进行大规模机器分类标注；对大规模机器分类标注的标注效果进行核验；输出核验合格的标注数据。本发明能够提取得到准确率较高的规则和特征词；能够提升大规模机器分类标注的质量和标注的效率，大幅度降低人工对大规模文本类数据进行标注的工作量。本发明可广泛应用于文本分类技术领域。

技术领域

本发明涉及文本分类技术领域，尤其是一种文本类数据大规模分类标注方法、系统、装置及存储介质。

背景技术

在机器学习领域，目前比较成熟和实际应用比较多是有监督的机器学习。有监督的机器学习依赖大量的、已经标注的数据，数据标注是生产标注数据的过程。数据标注有许多类型，如分类、画框、注释、标记等等，标注的对象主要包括文本、图像、语音、视频等。

现有技术主要还是依赖人工标注，在现阶段，文本类数据标注由于主观性强，且对于标注人员的专业素质要求高，普遍存在工作量大，效率低等问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种文本类数据大规模分类标注方法、系统、装置及存储介质。

本发明所采取的技术方案是：

一方面，本发明实施例包括一种文本类数据大规模分类标注方法，包括：

从待标注语料中筛选具有代表性的语料作为典型语料；

对所述典型语料进行分析，提取关键特征，所述关键特征包括所述典型语料中的关键词、关键词组、关键句式和词性序列；

根据所述关键特征，提取分类对应的匹配规则和特征词，所述匹配规则包括词性序列规则；

对所述匹配规则和特征词进行验证；

将验证通过的匹配规则保存至规则库，将验证通过的特征词保存至特征词库；

根据所述规则库和所述特征词库，对文本类数据进行大规模机器分类标注；

对所述大规模机器分类标注的标注效果进行核验；

输出核验合格的标注数据。

进一步地，所述对所述匹配规则和特征词进行验证这一步骤，具体包括：

验证所述匹配规则和特征词是否正确和是否符合预期匹配效果；

若所述匹配规则和特征词不正确或者不符合预期匹配效果，则重新调整所述匹配规则和特征词。

进一步地，所述验证所述匹配规则和特征词是否正确和是否符合预期匹配效果这一步骤，具体包括：

对所述匹配特征和特征词的书写是否正确进行判断；

从待标注文本类数据中选择一批模拟数据模拟标注过程；

输出模拟标注结果及所述模拟标注结果对应的匹配规则和特征词；

根据所述模拟标注结果及所述模拟标注结果对应的匹配规则和特征词，判断所述匹配规则和特征词是否符合预期匹配效果及判断所述标注效果是否符合预期。

进一步地，所述对所述大规模机器分类标注的标注效果进行核验具体为：

对所述大规模机器分类标注的结果进行随机抽样，得到抽样数据；

核验所述抽样数据的标注结果的正确率是否达到预期标注质量标准。

进一步地，若抽样数据的标注结果的正确率达到预期标注质量标准，则判断核验合格，否则，判断核验不合格。

进一步地，所述输出核验合格的标注数据之后，所述方法还包括：

将核验合格的标注数据保存至标注语料库，所述标注语料库用于训练机器学习模型。