[发明专利]基于模板的词汇实体关联性挖掘方法与系统

说明书

技术领域

本发明涉及一种信息处理和信息检索领域的文本挖掘方法和系统，特别涉及一种基于模板的词汇实体关联性挖掘方法与系统。

背景技术

本发明定位于一能在大量文件之中，利用自然语言词性撷取标注结果，依事先定义的命名实体规则，进而以大量数据探勘法则进行关连式探勘。此发明牵涉到几个领域知识如：(1)自然语言处理：词汇撷取(Natural language processing)、词性自动标记(Part-of-speech tagging)、词汇后处理(Post term processing)，命名实体规则研究(Named entity recognition)；(2)资料探勘：序列资料探勘(Sequential patternmining)、关连性探勘(Association mining)；(3)相关系数检定等领域知识研究。

就整体架构设计精神而论，本发明为一创新且跨领域之结合。虽然过去国内外技术所能做到的技术能力皆具一定水平，但尚未真正结合上述自然语言、序列探勘等技术整合为一系统性架构。过去文献或发明研究着重的是一般样式(pattern)的探勘而非在文件上关连词汇之探勘。同时这些技术着眼于计算词汇与词汇之间的相似度，而非一以词性出发为主的样板式探勘。自然语言处理上，虽然已有相似的词汇撷取技术，不过，对于具关连性、词性样板、命名实体定义为主且可多国语言的方法，却从未见过。

文件探勘议题上，其中最主要应用仍在于分类及分群上之方法突破，并未更进一步拓展至词汇-词组-命名实体上之关连性探勘。而文件探勘往往第一个问题在于如何先将大量的文件数据之中，Yang and Liu在其1998SIGIR文章已作一综述，分门别类至其所对应到使用者事先定义好类别名称之中(Yang，Y.and Liu，X.，“ARe-Examination of Text Categorization methods，”Proceedings of SIGIR’99：22nd Annual International ACM SIGIR Conference on Research and Development inInformation Retrieval，1999，pp.42-49)。例如在报纸新闻、电子媒体文件输入下，由机器自动判定，给予其合适类别，如政治、社会、影剧等标签名称，并且将这些文件以这些类别各自组织完成。再一步的应用则是利用文件分群技术(如阶层式分群法或广为人知的K-means)把彼此看似无关的文件，透过结合词汇分析，文件相似度计算，估计出特定群组，然而群组不须事先指定，而是由机器自动运算而得。虽然这二种方法皆为目前文件探勘主流议题，但实际上仍是在文章阶段，并未细一步至句子或词组等层级。而词汇-词组-命名实体等层级与一篇文章存在着相当大的差异，因此探勘文件的技术基本上与本专利方法是显然不同。

基于过去所发展之优势，本专利的发展能成功地建立在强大的语言处理及文件探勘基础上。过去这些方法所着眼之处是显然与本专利不同的。虽然词汇相似度计算与本专利看似相关，但实际上是两个完全不同的层面。本专利不限定语系，且不限定在词汇，而是能让使用者先定好所要词性架构，将具统计量高度相关的样式挖掘出，并且满足信心水平等最低门坎条件。至于词汇相似度计算等方法，主要是用来判别词与词之间相似度是高或低，以判别词汇间的关联是否相同或相关。况且其本质上是只适用中文，且只以中文断词结果为主；然而本专利不但适用多国语系，并且是依词性为主分析，利用命名实体上定义(已包含词汇)，将高度相关之样式挖掘出来，不仅在技术上有所突破，同时也涵盖不同语系。

发明内容

本发明提供了一种适用于多国语言的命名实体关联性挖掘的架构。

本发明根据用户预先所定义的词性样式、停用字及命名实体定义，并按照各样式的关联性，以序列模式挖掘的方法，将符合统计独立性或相关性的关联样式挖掘及呈现。

本发明的过程细部调整均已参数化，并可依用户喜好予以定义，加入其它文件信息，如时间、日期、来源等。用户能在有限时间内得到在所指定文件集中，高度相关的命名实体或词汇关系样式。