[发明专利]文本类数据大规模分类标注方法、系统、装置及存储介质

权利要求书

1.一种文本类数据大规模分类标注方法，其特征在于，包括：

从待标注语料中筛选具有代表性的语料作为典型语料；

对所述典型语料进行分析，提取关键特征，所述关键特征包括所述典型语料中的关键词、关键词组、关键句式和词性序列；

根据所述关键特征，提取分类对应的匹配规则和特征词，所述匹配规则包括词性序列规则；

对所述匹配规则和特征词进行验证；

将验证通过的匹配规则保存至规则库，将验证通过的特征词保存至特征词库；

根据所述规则库和所述特征词库，对文本类数据进行大规模机器分类标注；

对所述大规模机器分类标注的标注效果进行核验；

输出核验合格的标注数据。

2.根据权利要求1所述的一种文本类数据大规模分类标注方法，其特征在于，所述对所述匹配规则和特征词进行验证这一步骤，具体包括：

验证所述匹配规则和特征词是否正确和是否符合预期匹配效果；

若所述匹配规则和特征词不正确或者不符合预期匹配效果，则重新调整所述匹配规则和特征词。

3.根据权利要求2所述的一种文本类数据大规模分类标注方法，其特征在于，所述验证所述匹配规则和特征词是否正确和是否符合预期匹配效果这一步骤，具体包括：

对所述匹配特征和特征词的书写是否正确进行判断；

从待标注文本类数据中选择一批模拟数据模拟标注过程；

输出模拟标注结果及所述模拟标注结果对应的匹配规则和特征词；

根据所述模拟标注结果及所述模拟标注结果对应的匹配规则和特征词，判断所述匹配规则和特征词是否符合预期匹配效果及判断所述标注效果是否符合预期。

4.根据权利要求1所述的一种文本类数据大规模分类标注方法，其特征在于，所述对所述大规模机器分类标注的标注效果进行核验具体为：

对所述大规模机器分类标注的结果进行随机抽样，得到抽样数据；

核验所述抽样数据的标注结果的正确率是否达到预期标注质量标准。

5.根据权利要求4所述的一种文本类数据大规模分类标注方法，其特征在于，若抽样数据的标注结果的正确率达到预期标注质量标准，则判断核验合格，否则，判断核验不合格。

6.根据权利要求1所述的一种文本类数据大规模分类标注方法，其特征在于，所述输出核验合格的标注数据之后，所述方法还包括：

将核验合格的标注数据保存至标注语料库，所述标注语料库用于训练机器学习模型。

7.一种文本类数据大规模分类标注系统，其特征在于，包括：

筛选模块，用于从待标注语料中筛选具有代表性的语料作为典型语料；

第一提取模块，用于对所述典型语料进行分析，提取关键特征，所述关键特征包括所述典型语料中的关键词、关键词组、关键句式和词性序列；

第二提取模块，用于根据所述关键特征，提取分类对应的匹配规则和特征词，所述匹配规则包括词性序列规则；

验证模块，用于对所述匹配规则和特征词进行验证；

保存模块，用于将验证通过的匹配规则保存至规则库，将验证通过的特征词保存至特征词库；

分类标注模块，用于根据所述规则库和所述特征词库，对文本类数据进行大规模机器分类标注；

核验模块，用于对所述大规模机器分类标注的标注效果进行核验；

输出模块，用于输出核验合格的标注数据。

8.根据权利要求7所述的一种文本类数据大规模分类标注系统，其特征在于，所述验证模块包括：

验证单元，用于验证所述匹配规则和特征词是否正确和是否符合预期匹配效果；

调整单元，用于若所述匹配规则和特征词不正确或者不符合预期匹配效果，则重新调整所述匹配规则和特征词。