[发明专利]搜索方法、装置及设备

说明书

本公开提出了一种搜索方法、装置及设备。接收客户端发送的查询语句；使用预先训练好的语种识别模型组件对查询语句的语种进行识别，以得到语种识别结果，其中，语种识别模型组件的输出层可基于分类器输出的、查询语句中各单词属于各语种的概率值，确定查询语句中各单词的语种而形成对应的语种识别结果；以及基于语种识别结果，向客户端反馈搜索结果。由此，在提高计算效率的同时，还可以提高语种识别的准确率，进而提高查询结果准确率。

技术领域

本公开涉及互联网技术领域，特别是涉及一种搜索方法、装置及设备。

背景技术

为了提高搜索效率，商品搜索引擎对所有的商品标题一般会统一用一个语种来建立索引。当用户进行商品搜索时，首先需要对用户输入的查询(Query)进行语种识别，然后调用翻译引擎将其翻译成统一语言，才能去跟商品库中的商品进行匹配。

错误的语种识别将导致错译或者未翻译，最终导致商品无法被召回，影响用户体验。此外，对于一些混有品牌型号词或多种语言混杂的Query，如果不能正确识别出用户的语向，将不能展示给用户所期望语种的商品信息。

举例来说，对于“iphone6teile”这一Query，iphone6为品牌名，teile为德语，期望识别出的语种为德语；对于“cueca boxer men”这一Query，cueca boxer为葡萄牙语，men为英语；对于“vestidos de cóctel”这一Query，语种为西班牙语；对于“vestido de noivas”这一Query，语种为葡萄牙语。。

因此，针对这种多语言混杂(包括品牌型号词混杂)问题，以及针对葡萄牙语和西班牙语这种相似语种间的识别问题，都需要一种精准的语种识别方案。

发明内容

本公开的一个目的在于提供一种能够提升搜索效率和准确率的方案，以解决上述至少一种问题。

根据本公开的第一个方面，提出了一种搜索方法，包括：接收客户端发送的查询语句；使用预先训练好的语种识别模型组件对查询语句的语种进行识别，以得到语种识别结果，其中，语种识别模型组件的输出层可基于分类器输出的、查询语句中各单词属于各语种的概率值，确定查询语句中各单词的语种而形成对应的语种识别结果；以及基于语种识别结果，向客户端反馈搜索结果。

可选地，语种识别模型组件包括依次连接的嵌入层、位置编码器、自注意力层、前馈神经网络层以及分类器，嵌入层和分类器分别为语种识别模型组件的输入端和输出端，该方法还包括：对查询语句中的各字符进行编码，以得到相应的查询编码序列，或者对查询语句中的各单词和各字符进行编码，以得到混合查询编码序列，其中，使用预先训练好的语种识别模型组件对查询语句的语种进行识别的步骤包括：将查询语句对应的查询编码序列或混合查询编码序列作为输入，输入嵌入层，以得到分类器输出的语种识别结果。

可选地，查询编码序列中的各编码经由嵌入层被转化为相应的第一向量，第一向量经由位置编码器确定对应的位置编码向量；基于第一向量及对应的位置编码向量生成第二向量，将由全部第二向量形成的向量序列作为自注意力层的输入，以获取自注意力层的输出；自注意力层的输出作为前馈神经网络层的输入，前馈神经网络层的输出层包括多个神经元，每个神经元对应一个不同的语种，神经元的输出用于表征语种训练数据中文本属于神经元对应语种的概率；分类器用于基于各神经元的输出，确定查询语句属于各语种的概率值。

可选地，自注意力层用于针对至少一个第二向量，计算第二向量对向量序列中至少部分第二向量的注意力值，基于注意力值对至少部分第二向量进行加权求和，并将结果与第二向量相加，以得到第三向量，并基于第三向量进行特征抽象。