[发明专利]地址文本处理方法和装置

说明书

本发明公开了一种地址文本处理方法和装置。其中，该方法包括：依据待处理地址文本获取第一类地址数据和第二类地址数据；将属于同一兴趣地点的第一类地址数据和第二类地址数据进行合并，得到地址数据对；对地址数据对中的第一类地址数据进行编码，得到数字向量；将数字向量与第二类地址数据进行压缩，得到语义向量；根据语义向量进行解压缩，得到满足条件的地址数据。本发明解决了由于现有技术中模板数量有限，导致的无法应对海量文本的技术问题。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种地址文本处理方法和装置。

背景技术

在日常生活中，人们对于地址的描述通常是非标准化的，很少会使用类似“杭州市余杭区第一中学”这种标准的地址名，取而代之的是类似“余杭一中”，“第一中学”这种简称或别名。因此在基于地址文本的服务，例如，快递地址查询的服务中，需要具备兴趣点(Point Of Interest，简称POI)归一的功能，可以在特定区域内输入“余杭一中”和“第一中学”这种别名简称的时候能够召回“杭州市余杭区第一中学”。其中,POI归一化,是指将同一个语义的不同表达映射到一个标准说法的方法；

在相关技术中,POI归一化可以采用定制模板的方式,即,人工模板的方式采用人工收集常用POI简写和别名，提取通用的简写和别名生成模板，当有新POI加入数据集之后，通过模板匹配的方式来确认是否为简写和别名，例如：“杭州市余杭区第一中学”提取模式为：“{district}第{idx}中学”。

但是在该技术方案中模板的数量有限，无法应对海量文本。

针对上述由于现有技术中模板数量有限，导致的无法应对海量文本的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种地址文本处理方法和装置，以至少解决由于现有技术中模板数量有限，导致的无法应对海量文本的技术问题。

根据本发明实施例的一个方面，提供了一种地址文本处理方法，包括：依据待处理地址文本获取第一类地址数据和第二类地址数据；将属于同一兴趣地点的第一类地址数据和第二类地址数据进行合并，得到地址数据对；对地址数据对中的第一类地址数据进行编码，得到数字向量；将数字向量与第二类地址数据进行压缩，得到语义向量；根据语义向量进行解压缩，得到满足条件的地址数据。

可选的，依据待处理地址文本获取第一类地址数据和第二类地址数据包括：依据待处理地址文本中地址数据的前置地址作为索引，将待处理地址文本中属于同一前置地址的地址数据进行归一化，得候选列表；依据条件标记候选列表中的第一类地址数据和第二类地址数据，其中，第一类地址数据包括满足条件的地址数据；第二类地址数据包括非条件的地址数据。

进一步地，可选的，将属于同一兴趣地点的第一类地址数据和第二类地址数据进行合并，得到地址数据对包括：将属于同一兴趣地点的标记后的第一类地址数据和第二类地址数据进行合并，得到地址数据对。

可选的，将属于同一兴趣地点的标记后的第一类地址数据和第二类地址数据进行合并，得到地址数据对包括：依据数据格式将属于同一兴趣地点的标记后的第一类地址数据和第二类地址数据进行合并，得到地址数据对，其中，数据格式包括：前置地址、第一类地址数据、第二类地址数据和是否为同一兴趣地点。

进一步地，可选的，依据地址数据对中的第一类地址数据进行编码之前，该方法还包括：从地址数据对中筛选属于同一兴趣地点的地址数据对。

可选的，依据地址数据对中的第一类地址数据进行编码，得到数字向量包括：将第一类地址数据输入神经网络编码模型，得到数字向量。

进一步地，可选的，将数字向量与第二类地址数据进行压缩，得到语义向量包括：将数字向量设置为神经网络压缩模型的初始输入；将第二类地址数据以字符序列形式与数字向量输入神经网络压缩模型，得到语义向量，其中，语义向量包括：第一类地址数据和第二类地址数据的数字向量。