[发明专利]定标集更新方法及装置

权利要求书

1.一种定标集更新方法，其特征在于，包括：

获取当前考试的考卷，将每一考卷中的文本内容转化为高维表示向量，并将定标集中每一样本考卷转化为高维表示向量；

对所有高维表示向量进行聚类，根据每一考卷对应的聚类结果与所述定标集之间的距离，计算每一考卷对应的目标距离；

将目标距离大于预设阈值的考卷作为目标样本考卷，根据所述目标样本考卷更新所述定标集；

所述根据每一考卷对应的聚类结果与所述定标集之间的距离，计算每一考卷对应的目标距离，具体包括：

根据每一考卷对应的聚类结果与所述定标集对应的其他聚类结果之间的距离，计算每一考卷对应的目标距离；所述定标集对应的其他聚类结果包含所述定标集中每一样本考卷对应的高维表示向量的聚类结果。

2.根据权利要求1所述的方法，其特征在于，所有目标样本考卷中包含有预设数量个质检卷，所述高维表示向量为全篇层面的语义向量；所述根据所述目标样本考卷更新所述定标集之前，还包括：

根据所述预设数量个质检卷，在所有目标样本考卷中筛除不满足预设条件的目标样本考卷。

3.根据权利要求2所述的方法，其特征在于，每一目标样本考卷均由一位评分员评分；相应地，所述根据所述预设数量个质检卷，在所有目标样本考卷中筛除不满足预设条件目标样本考卷，包括：

根据每一评分员对所述预设数量个质检卷的评分特征参数，在所有目标样本考卷中筛除不满足预设条件的目标样本考卷；其中，所述评分特征参数包括每一评分员对所述预设数量个质检卷的评分质量参数和/或每一评分员对所述预设数量个质检卷的评分过程参数。

4.根据权利要求3所述的方法，其特征在于，所述评分特征参数包括每一评分员对所述预设数量个质检卷的评分质量参数；相应地，所述根据每一评分员对所述预设数量个质检卷的评分特征参数，在所有目标样本考卷中筛除不满足预设条件的目标样本考卷，包括：

根据所述预设数量个质检卷的标准评分以及每一评分员对所述预设数量个质检卷的评分，计算每一评分员的评分质量参数；

若存在评分员的评分质量参数小于预设阈值，则在所有目标样本考卷中筛除评分质量参数小于所述预设阈值的评分员所评的目标样本考卷。

5.根据权利要求3所述的方法，其特征在于，所述评分特征参数包括每一评分员对所述预设数量个质检卷的评分过程参数，所述评分过程参数为评分相关度；相应地，所述根据每一评分员对所述预设数量个质检卷的评分特征参数，在所有目标样本考卷中筛除不满足预设条件的目标样本考卷，包括：

根据所述预设数量个质检卷的机器评分以及每一评分员对所述预设数量个质检卷的评分，计算每一评分员与机器评分结果之间的评分相关度；

若存在评分员对应的评分相关度小于预设阈值，则在所有目标样本考卷中筛除评分相关度小于所述预设阈值的评分员所评的目标样本考卷。

6.根据权利要求1所述的方法，其特征在于，每一目标样本考卷均由一位评分员评分，所述根据所述目标样本考卷更新所述定标集之前，还包括：

对于任一评分员，在所述任一评分员所评的所有目标样本考卷中确定指定目标样本考卷，在所述定标集中确定指定样本考卷；其中，所述指定目标样本考卷对应的高维表示向量与所述指定样本考卷对应的高维表示向量之间的距离最近；

若所述任一评分员对所述指定目标样本考卷的评分与所述指定样本考卷对应的标准评分之间的差值大于预设阈值，则在所有目标样本考卷中筛除所述任一评分员所评的目标样本考卷。

7.根据权利要求1所述的方法，其特征在于，每一目标样本考卷均由一位评分员评分，所述根据所述目标样本考卷更新所述定标集之前，还包括：

对于任一评分员，对所述任一评分员所评的目标样本考卷重新进行语言水平评分；

若所述语言水平评分与所述任一评分员所评的评分之间的评分相关度小于预设阈值，则在所有目标样本考卷中筛除所述任一评分员所评的目标样本考卷。