[发明专利]利用图像处理技术及语义向量空间的文本语义处理方法和系统

摘要

本发明属于文本语义信息处理技术领域，具体涉及一种利用图像处理技术及语义向量空间的文本语义处理方法和系统。本发明包括文本输入及预处理、语义向量构建、语义信息处理、语义处理结果展示模块；语义信息处理具体包括语义转折句提取、语义噪声句检测、语义范围跟踪和语义场景分割。本发明将文本单元映射为图像中的像素，并将描述文本单元的语义向量视为图像中的像素点灰度，从而能引入图像处理领域中的各种技术和方法来灵活、直观地处理文本，而且不易受到词语本身形式多样化的影响；同时，通过引入Word2Vec方法构建语义向量，保证了算法的轻量级，以应对实时应用的需求。

主权项

一种利用图像处理技术及语义向量空间的文本语义处理方法，其特征在于具体步骤分为：文本输入及预处理、语义向量构建、语义信息处理、语义处理结果展示4个步骤；各步骤的具体内容如下：（1）文本输入及预处理，具体步骤如下：文本输入及预处理包含两个分步骤：文本输入、文本预处理：（1.1）文本输入，是将用户提交的待处理文本输入系统；（1.2）文本预处理，具体步骤为：(1.2.1) 对于输入的文本，首先按照语句分割标志符号进行语句分割处理，得到有序的语句序列；(1.2.2) 对序列中的每一句，进行停用词去除操作，将真正有语义的词语保留下来，在减少无语义词语干扰、提高语义处理结果可靠性的同时，也减少了后续处理的计算量；（2）语义向量构建，具体步骤如下：将文本单元视作图像像素，语义特征视作像素灰度，语义特征采用多种方法进行计算，构建语义向量的训练数据来源于各大知识库；（3）语义信息处理，分为如下4个分步骤：语义转折句提取、语义噪声句检测、语义范围跟踪、语义场景分割：（3.1）语义转折句提取，具体步骤如下：对预处理后得到的有序的语句序列，依次对每个语句进行如下操作：以该句为中心进行加窗，窗口宽度W根据实际情况而定：其中，R为窗口半径，此时参考图像处理中SOBEL模板并将其降至一维形式后得到的如下邻域模板对序列进行卷积：语义梯度计算如下：其中，S(i)表示序列号为i的语句对应的语义向量，Dist（a，b）表示向量a和向量b之间的距离；直接考察相似度：这里，Sim(a，b)表示向量a和向量b的相似度；同时，为去除结果的冗余性，当相邻两句都符合语义转折句条件时，说明它们是前一语义段的末尾和后一语义段的开头，此时只保留相似度较低的那一句；另外，为保证结果的稳定性，当邻域语句中至少有一句在去除停用词后剩余词语数目小于一定数值时的结果不予考虑；（3.2）语义噪声句检测采用图像处理中的噪声检测方法，实现对语义无关句的自动检测；参考图像处理中LAPLACIAN模板并将其降至一维形式后得到的如下邻域模板对序列进行卷积：语义梯度计算如下：其中，S(i)表示序列号为i的语句对应的语义向量，Dist（a，b）表示向量a和向量b之间的距离；直接考察相似度:这里，Sim(a，b)表示向量a和向量b的相似度；（3.3）语义范围跟踪采用图像处理中的区域生长方法来实现电子阅读中对用户感兴趣语义范围的自动导航；（3.3.1）首先，选择一句或多句连续语句作为用户感兴趣的“种子”，也即初始化的语义范围；（3.3.2）对当前语义范围中的语句序列，计算其语义均值向量m：R为当前语句范围，序号范围为[IDbegin，IDend]，N为R中的语句数目，S(i)为序号为i的语句的语义向量；（3.3.3）对于待生长“像素”——当前语义范围的开始和结束的邻域语句IDbegin‑1和IDend+1，分别计算其语义向量与当前区域的语义相似度；S1 = Sim(S(IDbegin‑1)，m)S2 = Sim(S(IDend+1)，m)（3.3.4）然后按下述流程进行判断处理：If (S1 > T && S2 > T){If ( S1== Max(S1,S2) ){IDbegin‑‑;}Else{IDend++;}Elseif (S1 > T){IDbegin‑‑;}Elseif (S2 > T){IDend++;}如果满足条件S1>T || S2>T，则按具体情况将相应的邻域语句归并入语义范围，再转至步骤（3.3.2），生长继续；如果不满足此条件，生长终止，并输出语义范围的生长结果；同时限定生长范围不能越界，这里的T为生长阈值；（3.4）语义场景分割引入图像分割中性能良好的OTSU法进行语义场景分割处理，其原理是使类间方差最大化：也即：最优分割阈值K*按下式确定：u0、u1分别为前景、背景的均值语义向量，w0、w1分别为前景、背景语句的分布概率，K是分割阈值，为文本总体均值语义向量，N为文本中语句总数，Dist（a，b）表示向量a和向量b之间的距离，Sim(a，b)表示向量a和向量b的相似度；（4）语义处理结果展示，具体步骤如下：将处理结果进行输出展示，并提交给用户，对应于语义信息处理步骤中4个分步骤输出内容分别为：（4.1）对于语义转折句提取：输出提取出的语义转折句的序号及语句内容；（4.2）对于语义噪声句检测：输出噪声句的序号及语句内容；（4.3）对于语义范围跟踪：输出语义跟踪的范围，包括种子句、开始句、结束句的序号及语句内容；（4.4）对于语义场景分割：输出分割后的对应着不同场景的开始句、结束句的序号及语句内容。