[发明专利]基于标签树和人工智能的习题标签预测系统

权利要求书

1.一种基于标签树和人工智能的习题标签预测系统，其特征在于，该系统包括输入模块、校对模块、标注模块、预测模块、数据库、分析模块、显示模块、训练模块和分类模型，所述输入模块与校对模块相连接，校对模块分别通过标注模块、预测模块后与数据库相连接，数据库与分析模块、训练模块相连接，分析模块与显示模块相连接，训练模块生成分类模型，分类模型与所述的预测模块相连接；其中：

所述输入模块用于规格化录入题目的数个字段，包括题目类型、题目叙述、题目选项和题目答案；

所述校对模块用于对输入的题目进行人工或自动的字段整理，校对模块通过设置比例将题目分为用于标注模块的题目和用于预测模块的题目；

所述标注模块对用于标注模块的题目进行标签的标注，得到标注后的题目和题目的标签关系；

所述数据库包括题目表、标签表及题目标签关系表，用于存储习题数据、标签数据和习题标签关系数据；标签表中的数据的录入方式是直接录入，包括标签ID、标签名和父标签，每一条标签通过指针指所记录的父标签，从而递归生成标签树；

对题目表和题目标签关系表的存储分为两部分，标注模块生成的题目和题目标签关系的存储以及预测模块生成的题目和题目标签关系的存储：

对标注模块生成的题目和题目标签关系，将题目保存在题目表中，将题目和标签的对应关系保存在题目标签关系表中，用于输入训练模块并生成后续的分类模型；

对通过预测模块的题目和所生成的标签预测结果，将题目保存在题目表中，将题目和所述的标签预测结果的对应关系保存在题目标签表中；

所述训练模块包括数据清洗单元、训练单元和评估单元，数据库生成的标签树与数据清洗单元相连接，数据清洗单元和训练单元相连接，训练单元和评估单元相连接，评估单元和分类模型相连接并且能够对训练单元进行反馈；训练模块用于对题目标签关系表中的关系记录进行规格化处理，并生成预测模块所需要的分类模型；

所述预测模块包括数据清洗单元、预测单元和校验单元，在校对模块中整理后的题目与数据清洗单元相连接，数据清洗单元和预测单元相连接，预测单元和校验单元相连接，校验单元反馈连接到预测单元；预测模块用于完成对未标注数据的标签分类预测结果；

所述分析模块对数据库中的题目标签关系进行分析，生成题目标签的日志数据、所有题目标签的总览数据和各个标签题目的数据；

所述显示模块对分析后的数据即预测结果进行展示。

2.根据权利要求1所述的习题标签预测系统，其特征在于，所述的训练模块用于生成分类模型；训练模块中的数据清洗单元，对不同形式的题目进行清洗；训练模块中的训练单元，将经过数据清洗单元后的题目作为数据集的X，将题目所标注的已审核的多个标签作为Y；设置全标签或叶子标签训练方式、限制标签数量的监督学习预设的参数，数据集中的X和Y通过设定的监督学习生成初步的多标签文本分类模型；训练模块中的评估单元，对初步生成的多标签文本分类模型进行多个指标的评估，包括各分类下的F1-SCORE、精准率及召回率，依据评估结果，视重复训练次数，直至生成分类模型。

3.根据权利要求1所述的习题标签预测系统，其特征在于，所述预测模块使用分类模型，对未标注的题目进行多标签的预测；数据清洗单元对不同形式的题目进行清洗，将数据清洗后的题目作为数据集的X′；预测单元设置阈值、设置全标签或叶子标签的预测方式、限制标签数量的预测过程所需的参数，对数据集中的X′进行预测，生成预测结果Y′；校验单元对生成的预测结果Y′进行查看和手动更改，若预测效果不佳，重新返回预测单元；经过校验后，将生成的标签预测结果Y′和题目存储在数据库的题目表和题目标签关系表中。

4.根据权利要求3所述的习题标签预测系统，其特征在于，所述预测单元的预测过程，具体包括；

全标签下的预测和标签树下的预测；

全标签下的预测：对数据清理后的题目设置阈值η1，以全标签范围下对结果进行预测，将预测评分大于阈值η1的标签即预测结果Y′输出；

标签树下的预测：对数据清理后的题目设置阈值η1，在只包含叶子标签的范围下对结果进行预测，保存预测评分高于阈值η1的叶子标签，之后设置阈值η2，保存含有多个高于阈值η1的叶子标签且评分总和大于η2的非叶子标签，保存的符合条件的标签即预测结果Y′输出。