[发明专利]一种基于粗燥集的语料库系统构建方法

权利要求书

1.一种基于粗燥集的语料库系统构建方法，其特征在于，所述构建方法包括以下步骤：

S1、采集原始语料数据，构建原始语料文本集；

S2、对所述原始语料文本集进行预处理，得到标注语料数据文本集；

S3、利用R语言聚类方法对标注语料数据文本集进行聚类，将类型相似的语料放进相同的簇中，构建分类类目主题；

S4、对聚类后的标注语料数据文本集进行自分类测试，验证分类体系的准确性，确定最终该分类系统的类目；

S5、对标注语料数据文本集进行一致性评估，并将原始语料和满足一致性评估的标注文本存储到信息语料库中；

S6、基于粗糙集对所述原始语料数据、标注语料数据文本集和分类类目共同构建得到语料库系统。

2.根据权利要求1所述的一种基于粗燥集的语料库系统构建方法，其特征在于，所述步骤1中采集原始语料数据的采集方式包括使用主体爬虫在互联网上随机抓取与信息相关的内容和通过人工收集的信息相关语料数据。

3.根据权利要求1所述的一种基于粗燥集的语料库系统构建方法，其特征在于，对所述步骤1中采集原始语料数据加入提供标识作用的文本编号、采集来源和采集时间元信息，然后保存为统一的电子文本格式。

4.根据权利要求1所述的一种基于粗燥集的语料库系统构建方法，其特征在于，所述步骤2中对所述原始语料文本集进行预处理，得到标注语料数据文本集包括以下内容：

S21、导入所述原始语料文本集，对原始语料文本集的格式进行转换，清洗冗余信息和错误信息，并提取相应的结构信息；

S22、对原始语料文本集文本进行分词、去除停用词和过滤无语义段落，构建可供分析的基础文本；

S23、将带标注的原始语料文本集进行显示，依次选取出实体、关系和事件，并对其所属的具体类别进行判定并标注，将标注出的内容按照已预定义的编码方式自动保存为统一的格式，得到标注语料数据文本集。

5.根据权利要求4所述的一种基于粗燥集的语料库系统构建方法，其特征在于，所述步骤S23中的文本进行分词包括基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法中的一种或多种。

6.根据权利要求1所述的一种基于粗燥集的语料库系统构建方法，其特征在于，所述语料库系统包括原始语料库、标注语料库和临时语料库,分别用于存储原始语料数据、标注语料数据和临时语料数据。

7.根据权利要求1所述的一种基于粗燥集的语料库系统构建方法，其特征在于，所述语料库系统设置有管理权限和数据更新；所述管理权限具体为：对管理人员权限进行验证，只有满足权限要求的管理人员才允许对服务器上的信息语料库进行访问；所述数据更新具体为：对实时性要求不高的语料数据，设置定时任务，在指定的时间间隔触发语料数据更新操作，将语料数据加载到所述语料库系统中；对实时性要求高的语料数据，编写守护进程，实时监控语料数据更新情况，并将更新的语料数据同步更新到所述语料库系统中。