[发明专利]一种面向AD量表书写能力检测的文本语义分析自动评价系统

权利要求书

1.一种面向AD量表书写能力检测的文本语义分析自动评价系统，其特征在于：主要包括所述待评估语料输入模块、训练语料获取模块、测试语料获取模块、语料预处理模块、语法完整性判断模块、语义通顺度分析模块、评估结果输出模块和数据库。

所述待评估语料输入模块获取受试者待评估的书写语料，并输入至语料预处理模块；

所述训练语料获取模块具有训练语料库；所述训练语料获取模块获取若干训练语料，分别建立基础语料集B和日常对话语料集D＝[D1，D2，…，Dw]，并存储在训练语料库中；Dr为第r个日常对话语料子集；r＝1，2，…，w；

所述测试语料获取模块获取所述受试者已评估的书写语料，并作为测试样本输入至语义通顺度分析模块；

所述语料预处理模块调取训练语料库的语料，并进行预处理，得到预处理后的基础语料集B'和日常对话语料集D'，并发送至语义通顺度分析模块；

所述语法完整性判断模块判断受试者待评估书写语料的语法是否完整，并发送至评估结果输出模块；

所述语义通顺度分析模块根据预处理后的基础语料集B'、日常对话语料集D'和测试样本建立N-gram模型；

所述语义通顺度分析模块利用N-gram模型判断受试者待评估书写语料的语义是否通顺，并发送至评估结果输出模块；

所述评估结果输出模块接收语法完整性判断模块、语义通顺度分析模块的评估结果，当受试者待评估书写语料语法完整且语义通顺时，判断待评估书写语料可理解，输出受试者具有基本的书写能力的评估结果，反之，判断待评估书写语料不可理解，输出受试者不具有基本的书写能力的评估结果；

所述数据库存储待评估语料输入模块、训练语料获取模块、语料预处理模块、语法完整性判断模块、语义通顺度分析模块的数据。

2.根据权利要求1或2所述的一种面向AD量表书写能力检测的文本语义分析自动评价系统，其特征在于，获取若干训练语料的主要步骤如下：

1)利用网络爬虫在网络中获取若干基础语料，并写入基础语料集B中；所述基础语料覆盖所有类型语法且表达正确；所述基础语料集B存储在训练语料库中；

2)获取若干日常对话语料，主要步骤为：

2.1)获取所述受试者在过去t时间内书写的语料样本；

2.2)对所述语料样本进行分词，得到若干分词样本；

2.3)对所有分词进行词频统计，并按词频降序写入分词集W中；

2.4)提取分词集W中前w个分词，获取所述w个分词的近义词，并写入关键词集J＝{j1，j2，…，jw}中；其中关键词子集jr内存储第r个分词和第r个分词的近义词；r＝1，2，…，w；

2.5)以关键词子集jr内所有元素为搜索关键词，利用网络爬虫在日常对话语料库中获取与关键词子集jr中任意元素相关联语料，并写入第r个日常对话语料子集Dr中；所述日常对话语料子集Dr存储在训练语料库中；r初始值为1；相关联的判断标准为语句中存在关键词子集jr中任意元素；

2.6)令r＝r+1，并返回步骤2.5)，直至建立日常对话语料集D＝[D1，D2，…，Dw]。

3.根据权利要求2所述的一种面向AD量表书写能力检测的文本语义分析自动评价系统，其特征在于，所述日常对话语料库包括The NUS SMS Corpus、ChatterBot、Datasetsfor Natural Language Processing、华为诺亚实验室中文对话语料库、现代汉语语料库；其中，现代汉语语料库来源于语料库在线网站。

4.根据权利要求1所述的一种面向AD量表书写能力检测的文本语义分析自动评价系统，其特征在于，对训练语料库进行预处理的主要步骤如下：

1)对训练语料库中所有语料的编码格式进行统一；

2)去除语料中包含的标点符号，并进行分句，得到若干语料分句；

3)对每条语料分句进行分词处理，得到预处理后的基础语料集B'和日常对话语料集D'。