[发明专利]文本映射到音频并动画文本的设备及方法

说明书

技术领域

本发明涉及音频分析领域，特别是诸如演讲等包含文本说明的音频。更具体地讲，涉及创建文本到音频映射的相应处理过程。

背景技术

在基于语言方面的第一次技术进步是简单发声法的开发，当时这些发声法只能在时间上孤立地进行意思传达。后来，人们按时间相位和相继次序对这些最初的发声法进行组合，形成了语音流(streams of speech)。再后来，人们发明了在洞壁或其他合适表面上绘制简单符号或图像，但它们只是在空间上孤立进行意思传达。后人及时将这些符号或图像与口语联系了起来。后来，人们把这些独立的与语言有关的图形在空间相位上按相继次序组合形成了书面语言或“文本”。具体地说，我们具有创新精神的祖先，开始对象形、表意或者有音素特征的字符进行顺序空间排序，这些字符对应并且部分表示实际言语中按时间顺序排列、用来传达意思的发声序列。这些二维空间字符既传达意思又与发声有关，用这些字符表示的相继次序是一项非常关键的创新，它使得我们能够将瞬时动态语音流的部分表示“凝固”成静态可储存文本。

模拟语音处理的发明，进一步提高了人们通过说话和文本进行交流的能力。这项技术发明使得我们能够凝固并存储动态语音流的声音，而不在满足于把语音部分等效存储为文本。近年来，通过以下方式，人们通过语言进行交流的能力得到了进一步延伸：一是通过对语音和文字进行数字编码，存储，处理，然后对其进行解码处理；二是电脑化文本搜索技术的开发；三是通过交互式文本包括交互式文本注释和超文本的开发。最后，因特网分布语音录音和文本技术的开发，使得人们通过语言进行交流的能力大大提高。这项技术是通过因特网，将语音录音和文本分布到越来越盛行的可编程或专用数字计算装置上。

概括地说，两个相继次序的出现，使得口语和书面语言的交流成为可能：一是用来传达意思的说话发声的时间相继次序，二是表示说话发声的象形、表意或者有音素特征的字符的空间相继次序。虽然上述两个相继次序都分别是一种有力的语言沟通形式，但是，语音和文本的局部等同，使得我们利用其中一个来表示或替代另一个成为可能。已经有多种途径证明这个局部等同非常有用，这些途径包括人们对两种妨碍人际交流的残疾-耳聋和失明的征服。具体地说，听不见口语但可以看见并学过阅读的人，通过读出抄写的口语单词，至少可以理解讲话的部分意思。其次，那些看不见书面语言的人，可以通过倾听把书写下来的文字转换成的发声，或者通过聆听原始讲话录音，理解书面上写的是什么。

对于具有视力和听力者，在同时进行语音和文本表示时，语音和文本表示的配合可以创造出一种有力的混合式语言交流形式。具体地说，语音和文本的同时传达，使得听/读者在同一时间内同时通过两条语言交流途径，即听和看，来得到信息。语音加文本表示中的讲话部分，会支持并强化书面信息，而语音加文本表示中的文本部分，则支持并强化讲话信息。简而言之，语言加文本表示的效果，好于其各部分表示的总和。

例如，在熟悉的国歌响起时，看到同步显示“星条旗”歌词，可能会让人在一个全新角度上油然而生感激之情。同样，在聆听马丁路德金演讲录音的同时，阅读他著名的“我有一个梦想”的原文，会让人沉浸在语言加文本的全新体验中，这种体验，性质上决不同于简单的阅读原文或聆听讲演。

语音加文本表示，在教育领域也有广阔的应用。例如，学习阅读某个人的本国语言，涉及到书写字符与相应口语单词的联想。通过语音加文本的同步表示，可以使得这种联想学习法变得更加容易。

语音加文本表示在教育领域的另一项应用，是外语或“第二”语言的学习-也就是学习至少在开始以口头或书写形式不能理解的语言。例如，一位学习德语的学生，可以玩语音加文本版的卡夫卡的“变形”，在阅读文本的同时，可以聆听口语版的故事。在这种第二语言学习应用中，诸如书面译文等文本注释可以帮助学生以口语和书面语两种形式理解第二语言，并帮助学生获得口语和书面表达能力。口语翻译形式的文本注释可以增强外语资料的语音加文本表示效果，这些文本注释可以是清晰的发音，或是个别单词的读音，也可以是弹出式测验题。

这种语音加文本表示在工业教育领域的一项应用，是增加书面技术资料的音频版本。音像版企业培训手册或者航空机师指南，可以这样制作：在文本显示的同时播放音频，以便让人们更透彻地理解其中的术语。