[发明专利]语义标注方法、装置和系统

说明书

本说明书实施例提供一种语义标注方法、装置和系统，通过前端将三维场景的场景视频序列发送至服务器，由服务器进行场景重建，得到重建后的三维场景的描述信息，再由前端根据重建后的三维场景的描述信息在本地生成所述三维场景，并将所述三维场景的语义标注结果返回至所述服务器，其中，所述三维场景的语义标注结果基于所述三维场景的描述信息得到。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及语义标注方法、装置和系统。

背景技术

语义标注用于解决场景中的每个点属于哪个目标的问题，例如，对于室内场景，通过语义标注来确定场景中的每个点所属的类别为桌子、椅子、电脑等等。传统的语义标注方式在针对三维场景进行标注时，标注准确率较低。

发明内容

本公开提供一种语义标注方法、装置和系统。

根据本公开实施例的第一方面，提供一种语义标注方法，应用于服务器，所述方法包括：获取前端发送的三维场景的场景视频序列；根据所述场景视频序列对所述三维场景进行场景重建，得到重建后的所述三维场景的描述信息；将所述三维场景的描述信息发送至所述前端，以获取所述前端返回的所述三维场景的语义标注结果，其中，所述三维场景的语义标注结果基于所述三维场景的描述信息得到。

在一些实施例中，所述场景视频序列中的每一帧图像包括所述三维场景的R通道图像、G通道图像、B通道图像和深度图像。

在一些实施例中，所述根据所述场景视频序列对所述三维场景进行场景重建，得到重建后的所述三维场景的描述信息，包括：根据所述场景视频序列对所述三维场景进行场景重建，得到所述三维场景对应的多个网格；分别获取所述多个网格中每个网格的描述信息，其中，所述三维场景的描述信息中包括所述每个网格的描述信息。

在一些实施例中，所述方法还包括：获取所述三维场景中每个点的语义标签；在得到所述三维场景对应的多个网格之后，根据所述多个网格中每个网格中各个点的语义标签，生成所述每个网格的语义标签；其中，每个网格包括所述三维场景中的至少一个点；将所述每个网格的语义标签发送至所述前端，以在所述前端获取基于所述每个网格的语义标签得到的对所述语义标注结果的校正结果。

在一些实施例中，所述方法还包括：在将所述三维场景的描述信息发送至所述前端之后，获取所述前端返回的所述语义标注结果；将所述语义标注结果投影到所述场景视频序列的每一帧图像上。

在一些实施例中，所述前端的数量为多个。

在一些实施例中，所述方法还包括：分别获取多个所述前端中每个前端的语义标注结果；根据所述每个前端的语义标注结果对应的场景，对所述每个前端的语义标注结果进行保存。

根据本公开实施例的第二方面，提供一种语义标注方法，应用于前端，所述方法包括：将三维场景的场景视频序列发送至服务器，以使所述服务器根据所述场景视频序列对所述三维场景进行场景重建；接收所述服务器进行场景重建后返回的所述三维场景的描述信息；根据所述三维场景的描述信息生成所述三维场景，并将所述三维场景的语义标注结果返回至所述服务器，其中，所述三维场景的语义标注结果基于所述三维场景的描述信息得到。

在一些实施例中，重建后的所述三维场景的描述信息中包括所述三维场景中的多个网格中每个网格的描述信息；所述三维场景的语义标注结果基于以下方式获取：根据所述多个网格中每个网格的描述信息，对所述多个网格进行聚合，得到至少一个聚合网格，所述至少一个聚合网格中的每个聚合网格对应所述三维场景中的一个对象；对所述至少一个聚合网格中的每个聚合网格进行语义标注，得到所述三维场景的语义标注结果。

在一些实施例中，所述方法还包括：对所述语义标注结果中至少一个第一语义标注结果进行隐藏；和/或对已被隐藏的至少一个第一语义标注结果进行显示。