[发明专利]一种精确的语料类别标注方法及装置

说明书

【技术领域】

本发明涉及数据处理技术，特别涉及一种精确的语料类别标注方法及装置。

【背景技术】

语料标注类别的准确性是保证利用这些语料训练得到的分类模型的准确性的关键。现有技术中，主要是通过人工的方式进行语料标注的，而人工标注难以避免人的主观性，由于人受知识结构所限，对不熟悉领域的语料标注常出现错误。如“紫苏提取物的特性及应用”，有的人可能会标注为化学类别，有的人可能会标注为生物类别。

【发明内容】

本发明所要解决的技术问题是提供一种精确的语料类别标注方法及装置，以提高用于训练分类模型的语料标注的准确性。

本发明为解决技术问题而采用的技术方案是提供一种精确的语料类别标注方法，包括：A.将具有初始标注类别的全部语料分为n份，其中1份语料作为校验语料，其余n-1份语料作为训练语料，且n为大于1的正整数；B.提取训练语料的代表性特征；C.对训练语料的代表性特征进行机器学习，以得到分类模型；D.采用所述分类模型对校验语料进行分类，得到校验语料的二次标注类别；E.对二次标注类别与初始标注类别之间存在差异的校验语料的类别进行校正；F.从所述n份语料中选取1份未曾校正的语料作为校验语料，其余n-1份语料作为训练语料，返回所述步骤B。

根据本发明之一优选实施例，所述方法在所述步骤F后进一步包括：将校正后的类别作为语料的初始标注类别，并在满足终止条件前重复执行所述步骤A至所述步骤F。

根据本发明之一优选实施例，所述终止条件至少包括以下一种：所述方法的执行时间达到预设值；或者所述步骤A至所述步骤F的重复执行次数达到预设值；或者当次重复执行时，需要校正的语料在全部语料中所占比例低于预设值。

根据本发明之一优选实施例，所述语料为文本语料。

根据本发明之一优选实施例，所述步骤B包括：B1.采用特征选择算法确定训练语料的代表性特征；B2.计算训练语料的代表性特征对应的权重。

本发明还提供了一种精确的语料类别标注装置，包括：分割单元，用于将具有初始标注类别的全部语料分为n份，其中1份语料作为校验语料，其余n-1份语料作为训练语料，且n为大于1的正整数；特征提取单元，用于提取训练语料的代表性特征；训练单元，用于对训练语料的代表性特征进行机器学习，以得到分类模型；分类单元，用于采用所述分类模型对校验语料进行分类，得到校验语料的二次标注类别；校正单元，用于对二次标注类别与初始标注类别之间存在差异的校验语料的类别进行校正；语料选取单元，用于从所述n份语料中选取1份未曾校正的语料作为校验语料，其余n-1份语料作为训练语料，并触发所述特征提取单元执行。

根据本发明之一优选实施例，所述装置进一步还包括：迭代单元，用于将校正后的类别作为语料的初始标注类别，并在满足终止条件前触发所述分割单元至所述语料选取单元重复执行。

根据本发明之一优选实施例，所述终止条件至少包括以下一种：所述装置的执行时间达到预设值；或者所述分割单元至所述语料选取单元的重复执行次数达到预设值；或者当次重复执行时，需要校正的语料在全部语料中所占比例低于预设值。

根据本发明之一优选实施例，所述语料为文本语料。

根据本发明之一优选实施例，所述特征提取单元包括：特征选取单元，用于采用特征选择算法确定训练语料的代表性特征；权重计算单元，用于计算训练语料的代表性特征对应的权重。

由以上技术方案可以看出，本发明通过将具有初始标注的全部语料分为若干份，每次选取其中一份作为校验语料，其余作为训练语料获取分类模型，以对校验语料进行校正，能够极大地降低语料标注中的错误，提高语料标注的准确性。

【附图说明】

图1为本发明中精确的语料类别标注方法的实施例的流程示意图；

图2为本发明中精确的语料类别标注装置的实施例一的结构示意框图；

图3为本发明中精确的语料类别标注装置的实施例二的结构示意框图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

请参考图1，图1为本发明中精确的语料类别标注方法的实施例的流程示意图。如图1所示，该实施例包括：

步骤S1：将具有初始标注类别的全部语料分为n份，其中1份语料作为校验语料，其余n-1份语料作为训练语料，且n为大于1的正整数。

步骤S2：提取训练语料的代表性特征。

步骤S3：对训练语料的代表性特征进行机器学习，以得到分类模型。