[发明专利]一种突发事件数据的筛选方法及装置

摘要

本发明提供了一种突发事件数据的筛选方法及装置，其中方法主要包括：构建去噪总表、组合词表以及反向词表；根据去噪总表、组合词表以及反向词表中的一个或多个，对采集到的突发事件相关数据进行筛选。本发明通过自然语言分析，为突发事件关键词词表的构建提供了依据。为保证数据的准确率，本发明采用多词表实现突发事件数据的筛选。围绕数据的全面性和准确性，本发明还应用查准率与查全率对各词表性能进行量化评估，为词表的更新提供了依据。

主权项

1.一种突发事件数据的筛选方法，其特征在于，包括：构建去噪总表、组合词表以及反向词表；根据所述去噪总表、所述组合词表以及所述反向词表中的一个或多个，对采集到的突发事件相关数据进行筛选；上述构建去噪总表，具体包括：利用自然语言分析技术，对数据进行预处理，通过准去噪词分析，实现基本去噪总表的构建；根据所述基本去噪总表，利用去噪词匹配对历史数据进行过滤，得到训练集TD1；基于所述训练集TD1中的数据，按照是否为突发事件数据进行标记，最终得到突发事件数据训练集TD11和非突发事件数据训练集TD10；采用Word分词开源组件分别对所述训练集TD11和TD10中的数据进行分词、词性标注和词频统计，只保留其中的名词和动词，并将保留的词项添加到关键词库中；经上述数据预处理，将所述突发事件数据训练集TD11得到的词项，按照词频由高到低进行排序，经准去噪词分析，选择词频较高的词作为去噪词，生成去噪总表。