[发明专利]词语的对齐方法、装置、电子设备及介质

说明书

本申请公开了一种词语的对齐方法、装置、电子设备及介质，其方法包括：生成待对齐词语的拼音n‑gram特征表，所述拼音n‑gram特征表包括多个源特征；对各所述源特征在预构建的实体词典中进行匹配，召回至少一个目标特征；将召回的至少一个目标特征映射到所述实体词典中的至少一个实体词；根据所述实体词与所述待对齐词语的相似度，确定与所述待对齐词语对齐的目标词语。本申请极大程度上降低了召回工作量非常大、显著提升了对齐效率，提高了对齐速度；且显著提高了对齐的准确性。

技术领域

本申请涉及数据处理领域，具体涉及一种词语的对齐方法、装置、电子设备及介质。

背景技术

很多场景需要用到词语对齐技术，如检索、纠错等，传统的主流对齐模型通常采取多路召回的手段，如pipeline模型。以纠错为例，其大概流程为：先判断输入中是否有拼写错误，再根据不同拼写错误类型采取不同的算法分别进行召回，然后对这些错误类型进行纠正，由于错误类型非常多，如简拼、拼音错误、拼汉字混合、漏字、多字、颠倒、谐音、模糊音、混淆音、形近字等等，导致这种方式的召回工作量非常大、速度慢、效率低下；且准确性低、可扩张性差。

发明内容

本申请实施例针对上述情况，提出了一种词语的对齐方法、装置、电子设备及介质，本方法通过将对齐问题转化为谐音的n-gram特征召回问题以及字符匹配问题，将实体词预处理成拼音，再对匹配上的谐音词集合做精确字符匹配，从而达到显著提升对齐效率和内存管理水平。

第一方面，本申请实施例提供一种词语的对齐方法，所述方法包括：

生成待对齐词语的第一拼音n-gram特征表；

将所述第一拼音n-gram特征表在预构建的实体词典中进行匹配，召回多个第二拼音n-gram特征；

将召回的多个第二拼音n-gram特征映射到所述实体词典中的至少一个实体词；

根据所述实体词与所述待对齐词语的相似度，确定与所述待对齐词语对齐的目标词语。

第二方面，本申请实施例还提供一种词语的对齐装置，所述装置包括：

生成单元，用于生成待对齐词语的第一拼音n-gram特征表；

召回单元，用于将所述第一拼音n-gram特征表在预构建的实体词典中进行匹配，召回多个第二拼音n-gram特征；

映射单元，用于将召回的多个第二拼音n-gram特征映射到所述实体词典中的至少一个实体词；

对齐单元，用于根据所述实体词与所述待对齐词语的相似度，确定与所述待对齐词语对齐的目标词语。第三方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请通过对待对齐词语转化为拼音，并提起待对齐词语的第一拼音n-gram特征表，根据提取到的第一拼音n-gram特征表在提前预构建好的实体词典中进行检索匹配，召回多个第二拼音n-gram特征，将多个第二拼音n-gram特征映射为实体词典中的一个或多个实体词，进一步的根据得到的实体词与待对齐词语相似度，确定出与待对齐词语的目标词语。本申请通过将词语对齐问题转化为谐音的n-gram特征召回问题以及字符匹配问题的结合，从而使得词典大小不会成为检索瓶颈，使得千万级别的词典的对齐速度能够缩短为几毫秒，甚至时间更短，极大程度上降低了召回工作量非常大、显著提升了对齐效率，提高了对齐速度；且显著提高了对齐的准确性。

附图说明