[发明专利]一种基于查询日志的新词自动查找系统和方法

摘要

本发明公开了一种基于查询日志的新词自动查找系统及方法，主要包括：查询日志预处理模块，用于根据设置的定时新词发现的时间，定期从查询日志中获取定时间隔的这一段时间内的查询串及查询频次等；新词发现模块，根据所述查询串的分词结果，统计相同n-gram串的频次；计算n-gram词串的共现率；归并候选新词集合中相近频次的父子串；新词生成模块，对候选新词集合应用过滤和剪枝策略，去除候选新词集合中的垃圾串，得到最终的新词集合。采用本发明，解决现有统计方法的语料库难获取和规则方法的不易扩展等问题，通过使用词串共现率，辅以过滤策略，能够简便易行地从查询日志中自动发现新词，将最终新词集合导入分词词库中，从而实现增量式新词发现。

主权项

一种基于查询日志的新词自动查找系统，其特征在于，主要包括查询日志预处理模块、新词发现模块和新词生成模块；其中：查询日志预处理模块，用于根据设置的定时新词发现的时间，定期的从查询日志中获取定时间隔的这一段时间内的查询串及查询频次，并对查询串进行分词处理，保存每个n‑gram串及相应的频次；新词发现模块，根据所述查询串的分词结果，统计相同n‑gram串的频次；根据单个词的频次和n‑gram串的频次计算n‑gram词串的共现率，并选取共现率较高的词串作为候选新词集合；归并候选新词集合中相近频次的父子串；新词生成模块，对候选新词集合应用过滤和剪枝策略，去除候选新词集合中的垃圾串，得到最终的新词集合。