[发明专利]语义词典构建方法和装置

说明书

技术领域

本发明实施例涉及网络数据处理技术，尤其涉及一种语义词典构建方法和装置。

背景技术

根据目前的自然语言处理的工程实践来看，构建语料丰富、数据可靠的语义词典对于提高自然语言处理系统的处理效率和准确率有着基础性的作用。然而，传统意义上的语义词典大都依靠人工进行数据收集和加工。并且，由于语义词典自身对数据的专业性要求较高，所以需要进行数据收集和加工的人员具有较高的专业背景知识和深厚的语言功底。所以，能够满足上述要求而参加语义词典的编撰工作的人员数量一般较少。由于执行数据收集和加工的人员数量有限，再加上数据收集和加工工作依靠手工完成，造成了传统的语义词典编撰工作的效率低下。而在信息爆炸的今天，自然语言处理系统需要处理海量的语料数据，如此低效的语义词典编撰效率显然难以满足信息加工和处理的需求。

发明内容

有鉴于此，本发明实施例提出一种语义词典构建方法和装置，以高效的构建语义词典。

第一方面，本发明实施例提供了一种语义词典构建方法，所述方法包括：

从用户的网络日志中提取具有相同或者相近语义的句子；

根据所述具有相同或者相近语义的句子中的词的语义，对所述具有相同或者相近语义的句子中的词进行对齐，从而获取具有相同或者相近语义的备选词；

根据所述备选词在所述具有相同或者相近语义的句子中的语境信息，对所述备选词进行聚类，以获取具有相同语义的词，并将具有相同语义的词添加到语义词典中。

第二方面，本发明实施例提供了一种语义词典构建装置，所述装置包括：

语句筛选模块，用于从用户的网络日志中提取具有相同或者相近语义的句子；

词语筛选模块，用于根据所述具有相同或者相近语义的句子中的词的语义，对所述具有相同或者相近语义的句子中的词进行对齐，从而获取具有相同或者相近语义的备选词；

词语聚类模块，用于根据所述备选词在所述具有相同或者相近语义的句子中的语境信息，对所述备选词进行聚类，以获取具有相同语义的词，并将具有相同语义的词添加到语义词典中。

本发明实施例提供的语义词典构建方法和装置，通过从用户的网络日志中提取具有相同或者相近语义的句子，根据所述具有相同或者相近语义的句子中的词的语义对所述具有相同或者相近语义的句子中的词进行对齐，从而获取具有相同或者相近语义的备选词，根据所述备选词在所述具有相同或者相近语义的句子中的语境信息对所述备选词进行聚类，以获取具有相同语义的词，并将具有相同语义的词添加到语义词典中，从而能够从用户的网络日志中对同义词数据进行挖掘，进而高效的构建语义词典。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的语义词典构建方法的流程图；

图2是本发明第一实施例提供的语义词典构建方法中词语对齐的示意图；

图3是本发明第二实施例提供的语义词典构建方法的流程图；

图4是本发明第二实施例提供的语义词典构建方法中语句筛选的流程图；

图5是本发明第三实施例提供的语义词典构建方法的流程图；

图6是本发明第三实施例提供的语义词典构建方法中语句筛选的流程图；

图7是本发明第四实施例提供的语义词典构建方法中词语筛选的流程图；

图8是本发明第五实施例提供的语义词典构建方法的流程图；

图9是本发明第五实施例提供的语义词典构建方法中词语聚类的示意图；

图10是本发明第五实施例提供的语义词典构建方法中词语聚类的流程图；

图11是本发明第六实施例提供的语义词典构建装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1及图2示出了本发明的第一实施例。

图1是本发明第一实施例提供的语义词典构建方法的流程图。参见图1，所述语义词典构建方法包括：

S110，从用户的网络日志中提取具有相同或者相近语义的句子。