[发明专利]分布式的级联裂变查询方法及装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式的级联裂变查询方法及装置。

背景技术

网络、通讯及计算机技术的迅猛发展也极大程度地推动了人工智能技术的进步。在此背景下，语音处理及数据挖掘也受到了越来越多的关注。

语音处理可识别出说话人所说的内容，并将其转化为文本数据，进而可以将这些总量持续增长的数据持久保存下来，以为后续进行数据挖掘，进而进行数据查询提供基础。

目前，数据查询前所进行的离线数据挖掘多使用单线程、单进程处理数据，再加上数据的增长速度十分迅速，导致数据挖掘时间长，挖掘效率低，甚至容易导致系统崩溃，进而影响后续用户查询数据的准确性。

发明内容

为消除现有数据查询中进行离线数据挖掘时存在的数据挖掘时间长、挖掘效率低、甚至容易导致系统崩溃、影响用户查询数据的准确性的弊端，本发明一方面提出了一种分布式的级联裂变查询方法，所述方法包括：

在预设的分布式系统开发框架中创建用于放置裂变词的裂变词文件以及用于放置裂变模式的裂变模式文件；

其中，所述裂变词为用于将语句划分成裂变模式的关键词，所述裂变模式为根据所述语句包含的所述关键词的词性以及包含的其他词语的词性将所述语句进行划分所得的模式；

根据所述裂变词文件中的裂变词以及所述裂变模式文件中的裂变模式进行迭代裂变搜索，以确定裂变词集合和裂变模集合；

根据所述裂变词集合和裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

可选地，所述根据所述裂变词文件中的裂变词以及所述裂变模式文件中的裂变模式进行迭代裂变搜索，以确定裂变词集合和裂变模集合，包括：

根据所述裂变词文件中的裂变词以及对预设数量的语料进行标注所获取的标注结果挖掘新的裂变模式，并将所述新的裂变模式放入所述裂变模式文件中；

根据所述裂变模式文件中的所述裂变模式以及所述语料，挖掘新的裂变词，并将所述新的裂变词放入所述裂变词文件中；

交替重复上述挖掘新的裂变模式以及挖掘新的裂变词的步骤，直至不再出现新的裂变模式或新的裂变词，并将最终所得的裂变词文件和裂变模式文件分别作为裂变词集合和裂变模集合。

可选地，所述根据所述裂变词文件中的裂变词以及所述裂变模式文件中的裂变模式进行迭代裂变搜索之前，所述方法还包括：

在所述分布式系统开发框架中对预设数量的语料进行标注，以获取标注结果；

相应地，所述根据所述裂变词集合和裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果，包括：

根据所述标注结果、所述裂变词集合和裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

可选地，所述分布式系统开发框架包括但不限于分布式系统基础框架hadoop。

可选地，所述在所述分布式系统开发框架中对预设数量的语料进行标注，包括：

利用hadoop的map/reduce调用分词程序对所述语料中的语句进行分词并按照词性进行标注。

另一方面，本发明还提供了一种分布式的级联裂变查询装置，包括：

文件创建单元，用于在预设的分布式系统开发框架中创建用于放置裂变词的裂变词文件以及用于放置裂变模式的裂变模式文件；

其中，所述裂变词为用于将语句划分成裂变模式的关键词，所述裂变模式为根据所述语句包含的所述关键词的词性以及包含的其他词语的词性将所述语句进行划分所得的模式；

集合确定单元，用于根据所述裂变词文件中的裂变词以及所述裂变模式文件中的裂变模式进行迭代裂变搜索，以确定裂变词集合和裂变模集合；

裂变查询单元，用于根据所述裂变词集合和裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

可选地，所述集合确定单元进一步用于：

根据所述裂变词文件中的裂变词以及对预设数量的语料进行标注所获取的标注结果挖掘新的裂变模式，并将所述新的裂变模式放入所述裂变模式文件中；

根据所述裂变模式文件中的所述裂变模式以及所述语料，挖掘新的裂变词，并将所述新的裂变词放入所述裂变词文件中；

交替重复上述挖掘新的裂变模式以及挖掘新的裂变词的步骤，直至不再出现新的裂变模式或新的裂变词，并将最终所得的裂变词文件和裂变模式文件分别作为裂变词集合和裂变模集合。

可选地，所述装置还包括：