[发明专利]声音信息显示装置、声音信息显示方法和程序

说明书

技术领域

本公开涉及声音信息显示装置、声音信息显示方法和程序，并且具体地涉及在头戴式显示器等上显示覆盖在可视图像上的声源的声音信息的声音信息显示装置。

背景技术

在针对专利申请第2004-021031号的PCT国际公布的国内再公布中描述了一种用于通过多个麦克风来估计声源的位置和声音的强度的技术。进一步，在日本待审专利申请公布第2007-334149号中描述了一种用于听力受损者的头戴式显示器，该显示器通过多个麦克风识别声源的到达方向，并且输出对应于识别结果的字和拟声作为字符信息。进而，在日本待审专利申请公布第08-179791号中描述了一种可视化装置，该可视化装置从输入图像中提取声音信息，分类并且标识这样的声音是什么，并且将声音与图像之内的静止图像相关联。

发明内容

用于估计声源方向的技术或者用于从中查明声音的强度的技术(参考针对专利申请第2004-021031号的PCT国际公布的国内再公布)已经得以建立并且主要用于测量。然而，由于在测量领域中对精度有要求，所以设备目前尺度很大。另一方面，这样的声源方向估计技术可以成为用于针对一般群体搜索发声体的工具，或者成为辅助听力受损者的听力的工具。

上面描述的日本待审专利申请公布第2007-334149号中描述的技术是眼镜式的头戴式显示器，并且朝向一般行人调整。然而，声源的到达方向被显示为字符，这难以直观理解。进而，虽然使用拟声词来表达识别结果，但是在发声体的声音的表达方面可能存在个体差异。

进一步，上面描述的日本待审专利申请公布第08-179791号中描述的技术需要庞大的数据库，进而，标识隐藏在图像之内的发声体或者标识从图像之外到达的发声体是困难的。

用户希望能够直观地确定关于声源的位置和由声源产生的声音的信息。

本公开的实施例的要点是一种声音信息显示装置，该声音信息显示装置包括：多个声音收集单元；信息获得单元，其基于所述多个声音收集单元收集的声音信息获得声源的位置信息和声音信息；显示数据生成单元，其生成显示数据，所述显示数据用于在可视图像之内的与所述信息获得单元获得的位置信息相对应的位置处显示覆盖在所述可视图像上的由所述信息获得单元获得的声音信息；以及头戴式图像显示单元，其基于由所述显示数据生成单元生成的显示数据，在所述可视图像之内的对应于声源的位置处，显示覆盖在所述可视图像上的声源的声音信息。

本公开的实施例包括多个声音收集单元，例如多个麦克风。基于多个声音收集单元收集的声音信息，信息获得单元获得声源的位置信息和声音信息。例如，声音信息是从声源输出的声音的声级信息或者从声源输出的声音的频率信息等。

显示数据生成单元生成用于显示由信息获得单元获得的声音信息的显示数据。显示数据被生成以在可视图像之内的位置处显示声音信息，该位置对应于由信息获得单元获得的位置信息，以覆盖在可视图像上。

例如，显示数据被生成，以使用预定形状如圆圈的尺寸来显示从声源输出的声音的等级信息。在这样的情况下，变得可以确定远近感。例如，可以根据逐渐扩大的圆圈而确定声源正在接近。进一步，例如，显示数据被生成，以使用施加到预定形状如圆圈的颜色来显示从声源输出的声音的频率信息。在这样的情况下，可以基于颜色找到特定声源。

基于由显示数据生成单元生成的显示数据，在头戴式图像显示单元上显示声源的声音信息。在这样的情况下，声音信息在可视图像之内的对应于声源的位置处被显示覆盖在图像上，以覆盖在可视图像上。例如，在当声源位置处于可视图像之内时的情况下，声音信息显示在声源位置或其附近。进一步，例如，在当声源位置不在可视图像之内时的情况下，声音信息显示在可视图像的接近于声源位置的端部。头戴式图像显示单元例如可以是透射的图像显示单元。在这样的情况下，可视图像是用户可以通过图像显示单元观察的实际图像。

进一步，例如，头戴式图像显示单元可以是非透射的图像显示单元。在这样的情况下，用于获得可视图像的图像数据的成像单元布置在图像显示单元上，并且由显示数据生成单元生成的显示数据叠加在成像单元所获得的图像数据上。进而，虽然基于叠加数据在图像显示单元上显示可视图像，但是声源的声音信息被显示覆盖在可视图像之内的对应于声源的位置处。亦即，在这样的情况下的可视图像是显示在图像显示单元上的显示图像。