[发明专利]一种面向中文新闻文本的事件地点抽取方法

权利要求书

1.一种面向中文新闻文本的事件地点抽取方法，其特征在于，包括如下步骤：

步骤一：候选事件地点抽取

(1)首先，利用ICTCLAS中文分词工具对中文新闻文本T进行分词，生成一个由二元组构成的序列S_T＝(w₁，p₁)，(w₂，p₂)，...，(w_i，p_i)，...，(w_n，p_n)，其中，n表示切分出的词汇的个数，n＞0，ω_i表示ICTCLAS切分出的词汇，p_i表示w_i的词性；

(2)从S_T中依次选择所有满足p_i＝"ni"、p_i＝"nl"、p_i＝"ns"三种情况之一的二元组，p_i＝"ni"、p_i＝"nl"、p_i＝"ns"分别表示对应的w_i为机构名、处所名词、地名；所有被选中的二元组中的w_i构成一个集合W_T＝{w′₁，w′₂，...，w′_j，...，w′_m}，W_T将作为候选事件地点的集合，m表示W_T中词汇的个数，m＞0；

步骤二：特征向量构建

对于集合W_T中的每个w′_j，选择三个特征,包括：w′_j在新闻文本T中的上下文Context特征；w′_j在新闻文本T中的位置特征；w′_j在新闻文本T中的拓扑特征；

步骤三：事件地点识别

选择100-200个特征向量，人工为每个特征向量标注一个类标签(事件地点与非事件地点)，形成一个训练数据集；采用Random Forest分类器训练一个分类器，利用该分类器将集合W_T中的每个w′_j按照事件地点与非事件地点进行二值分类，从而实现事件地点的抽取；

所述的步骤二中所述的w′_j在新闻文本T中的上下文Context特征；w′_j在新闻文本T中的位置特征；w′_j在新闻文本T中的拓扑特征，三个特征的计算如下：

特征一：w′_j在新闻文本T中的上下文特征_cj

w′_j在新闻文本T中的上下文特征用w′_j所匹配的正则表达式的权重表示，记为c_j；

(1)若w′_j在新闻文本T中能够匹配下表中的某个正则表达式，假设为第k个，则c_j＝a_k；a_k表示“若词汇匹配第k个正则表达式，则该词汇是事件地点的比率”，a_k的计算公式为：a_k＝|L_k|/|S_k|，其中，S_k表示标注数据中能成功匹配第k个正则表达式的所有词汇的集合，L_k表示属于S_k且在标注数据中是事件地点的词汇构成的集合，标注数据是指人工标注了事件地点的新闻文本集；

(2)若w′_j在新闻文本T中能够匹配下表中的多个正则表达式，设为第k₁，k₂，...，k_l(l＞1)个正则表达式，则

(3)若w′_j在新闻文本T中不能匹配下表中的正则表达式，则c_j＝0；

特征二：w′_j在新闻文本T中的位置特征p_j

p_j＝loc(w′_j，T),其中，loc(w′_j，T)表示词汇w′_j在新闻文本T中首次出现的位置，即从文本T起始处到词汇w′_j第一次出现位置之间的字数；

特征三：w′_j在新闻文本T中的拓扑特征t_j

初始化空集合E；对于任意二元组(w′_j，w′_i)∈W_T×W_T且，执行以下两个步骤：

STEP1：将字符串“http://www.baike.com/wiki/”与w′_j组成URL，下载该URL对应的页面；若下载不到，则不处理二元组(w′_j，w′_i)；

STEP2：利用正则表达式

/<a[^>]*？href＝["']？([^'">]*)['"]？[^>]*？>(.*？)</a>/ig匹配页面文件，获取所有锚文本；若锚文本中包含w′_i，则把E∪{(w′_j，w′_i)}的结果赋给E；

对于任意二元组(w′_j，w′_i)∈W_T×W_T且，执行上述两个步骤后，生成以W_T为结点集合，E为有向边集合的有向图G；

对任意w′_j∈W_T,计算其聚集系数C(w′_j)，聚集系数用于衡量不同结点之间连接的紧密程度；

上式中，G_Δ(w′_j)表示G中包含w′_j的闭三点组的数量，G_∧(w′_j)为表示G中包含w′_j的开三点组的数量；闭三点组指图中任意两两相连的三个结点，开三点组指图中被两条边连接起来的三个结点；

令w′_j在新闻文本T中的拓扑特征t_j为C(w′_j),即t_j＝C(w′_j)；

利用w′_j在新闻文本T中的上下文特征、位置特征、拓扑特征， 构建w′_j的三维特征向量(c_j，p_j，t_j)。