[发明专利]基于锚文本分析的领域术语自动生成方法

权利要求书

1.一种基于锚文本分析的领域术语自动生成方法，其特征在于，包括以下步骤：

采集用户的浏览日志；

对所述浏览日志进行处理以获得用户点击的锚文本和对应的点击结果地址；

根据所述点击结果地址对所述锚文本进行处理以获得候选多字集合；

基于新词发现算法对所述候选多字集合中的多字进行筛选以去除不能独立成词的多字；和

根据相对频率算法对所述新词发现算法筛选后的候选多字集合进行进一步筛选以输出领域术语生成结果。

2.如权利要求1所述的基于锚文本分析的领域术语自动生成方法，其特征在于，所述对浏览日志进行处理以获得用户点击的锚文本和对应的点击结果地址进一步包括：

进行用户日志编码转换，并将所述浏览日志整理为字符串形式，同时去除数字、字母及标点符号。

3.如权利要求1所述的基于锚文本分析的领域术语自动生成方法，其特征在于，所述根据点击结果地址对所述锚文本进行处理以获得候选多字集合进一步包括：

判断所述点击结果地址是否属于预设的URL列表；

将属于预设的URL列表的所述点击结果地址所对应的所述锚文本加入候选多字集合。

4.如权利要求1所述的基于锚文本分析的领域术语自动生成方法，其特征在于，所述基于新词发现算法对所述候选多字集合中的多字进行筛选以去除不能独立成词的多字进一步包括：

基于左右熵算法对所述候选多字集合进行过滤；和

基于耦合度算法对所述筛选后的候选多字集合进行过滤。

5.如权利要求4所述的基于锚文本分析的领域术语自动生成方法，其特征在于，所述基于左右熵算法对所述候选多字集合进行过滤进一步包括：

计算所述候选多字集合中每个多字的左信息熵和右信息熵；

判断所述每个多字的左信息熵或右信息熵是否大于阈值；

如果多字的左信息熵或右信息熵均小于所述阈值，则将所述多字去除。

6.如权利要求5所述的基于锚文本分析的领域术语自动生成方法，其特征在于，

其中，

左信息熵为：

LE(w)=-1nΣai∈AC(w,ai)logC(w,ai)n;]]>

右信息熵为：

RE(w)=-1nΣbi∈BC(w,bi)logC(w,bi)n;]]>

其中，C(w，a_i)和C(w，b_i)分别为对于词w而言的左单字a_i和右单字b_i出现的次数。