[发明专利]一种中文网页新词自动获取方法

摘要

本发明涉及中文网页新词自动获取的方法，属于互联网数据挖掘技术领域；该方法包括：从Internet采集不同类型的网页，解析出含有时间信息的网页正文文本，并进行预处理，对得到句子片段进行n-gram分词产生词串并统计词频，连同词串的时间信息一并存入原始数据库；根据词频阈值对原始数据库中的词串进行过滤，词频大于等于词频阈值的词串保留；对保留的词串做相邻串比较和父子串比较后进行再过滤，删除与停用词数据库中相同的词串，对得到初选新词串的时间信息进行时序分析，得到新词；还可再包括将由人工标记得到的过滤词串添加到过滤词数据库中。该方法扩大了获取新词的范围，中文分词方法简便易行，处理效率高，并提高了新词发现的准确率和科学性。

主权项

1.一种中文网页新词自动获取的方法，其特征在于，首先设置原始数据库和停用词数据库；所述原始数据库初始设为空，用于存放本新词获取方法处理过程中产生的数据；所述的停用词数据库预先存放有根据汉语语言规则不可能出现的词，以及要删除的已用词；设置新词获取周期；该方法包括以下步骤：1)当新词获取周期到来时，从Internet采集不同类型的网页，解析出含有时间信息的网页正文文本，并对该正文文本进行预处理得到句子片段；2)对预处理后的句子片段进行n-gram分词产生词串并统计词频，连同词串的时间信息一并存入原始数据库；3)根据预先设定的词频阈值对原始数据库中的词串进行过滤，词频大于等于词频阈值的词串保留，否则从原始数据库中删除；词频阈值的取值范围为1-10；4)对步骤3)保留的词串做相邻串比较和父子串比较后进行再过滤，最后删除与停用词数据库中相同的词串，得到初选新词串；5)对初选新词串的时间信息进行时序分析，得到新词，并等待下一新词获取周期到来时，转步骤1)；具体包括以下步骤：51)设定：时序分析的开始日期s，基本时间单位g，基本时间单位数目n，时序分析阈值δ；基本时间单位g取值范围为1-15天，基本时间单位数目n取值范围为5-30个，时序分析阈值δ取值范围为0-30；52)读出日期s的所有初选新词串，构成词串集合C；对C中每个词串t，查看其在从s开始，g*n天内的词频，得到g*n矩阵的词频数据，对该词频数据每g个为一组进行聚合得到l*n的矩阵词频数据a₁，a₂，...，a_n；53)设评价函数f(a_i+1，a_i)：f(ai+1,ai)=1,ifai+1>ai0,ifai+1=ai-1,ifai+1<ai]]>54)计算n个评价函数总和S的值：如果S＞δ即判定该初选新词串为新词，否则将该初选新词串删除，等待下一新词获取周期到来时，转步骤1)。