[发明专利]串数据分析装置以及串数据分析方法

说明书

本公开涉及串数据分析装置以及串数据分析方法。串数据分析装置包括存储器和处理器，处理器耦接至存储器并且处理器被配置成执行以下处理，所述处理包括：生成关于包括多个词或短语的第一串数据的索引信息，该索引信息指示字符中的每一个的出现位置；对索引信息设置标志信息，该标志信息指示多个词或短语的开头位置以及多个词或短语中的每一个的结尾位置；以及通过使用设置有标志信息的索引信息从第二串数据中提取与多个词或短语对应的多个可划分的词或短语。

技术领域

本文论述的实施方式涉及串数据分析方法以及串数据分析装置。

背景技术

已知在形态上分析目标文档并将文档划分成以词为单位的常规技术(常规技术1)。根据常规技术1，例如，在日文短语(复合词)被登记在用于形态分析的词典中的情况下，当该短语被确定为最适合于划分的候选时，该短语被输出。

然而，根据常规技术1，英文短语被登记，该短语被空格无条件地划分开，从而该短语不被输出。例如，根据常规技术1，即使当“White House”被登记在用于形态分析的词典中时，最合适的划分候选被确定为“White”和“House”，而有意义的整体“White House”不被确定为最合适的候选。

还已知以词为单位对目标文档进行编码的常规技术(常规技术2)。根据常规技术2，一组目标文档在形态上被分析来以词为单位被编码，并且生成关于该词存在/不存在的换位索引(transposition index)。例如，根据常规技术2，多次出现的每个词被编码以生成换位索引。

在专利文献1中公开了另一常规技术(常规技术3)。专利文献1描述了从目标文档收集短语以获取共现统计。

[引用列表]

[专利文献]

[专利文献1]

日本特开专利公布第2006-48685号

发明内容

作为一个方面，串数据分析装置包括存储器和处理器，处理器耦接至存储器，并且处理器被配置成执行以下处理，所述处理包括：生成关于包括多个词或短语的第一串数据的索引信息，该索引信息指示字符中的每一个的出现位置；对索引信息设置标志信息，该标志信息指示多个词或短语的开头位置以及多个词或短语中的每一个的结尾位置；以及通过使用设置有标志信息的索引信息从第二串数据中提取与多个词或短语对应的多个可划分的词或短语。

附图说明

图1是用于描述该实施方式中的分析设备的处理的示例的图。

图2是示出了该实施方式中的分析设备的配置的功能框图。

图3示出了字符串数据的数据结构的示例。

图4示出了词典数据的数据结构的示例。

图5示出了阵列数据的数据结构的示例。

图6示出了索引的数据结构的示例。

图7是用于描述索引的散列的图。

图8示出了索引数据的数据结构的示例。

图9是用于描述重建散列的索引的处理的示例的图。

图10是用于描述提取词或短语的处理的示例的图(1)。

图11是用于描述提取词或短语的处理的示例的图(2)。

图12是示出了分析设备的设置部的处理过程的流程图。

图13是示出了分析设备的提取部的处理过程的流程图。

图14示出了执行与分析设备相同的功能的计算机的硬件配置的示例。

具体实施方式