Translator还可以进行语音翻译。这项技术在Translator的实时功能中被曝光了(http://translate.it), 翻译应用程序, skype 翻译, 并最初是提供仅通过 Skype 翻译功能和在微软翻译应用程序的 iOS 和 Android, 这一功能现在可以向开发人员提供最新版本的开放Azure 门户上可用的基于 REST 的 API。
虽然从现有的技术砖块中构建语音翻译技术似乎是一个直接的向前过程, 但它需要的工作要比简单地插入现有的 "传统" 人机语音识别要多得多。引擎到现有的文本翻译一。
为了正确地将 "源" 语音从一种语言转换为不同的 "目标" 语言, 系统将进行四步过程。
语音识别, 将音频转换为文本
TrueText: 一种将文本规范化以使其更适合翻译的 Microsoft 技术
翻译通过上面描述的文本翻译引擎, 但关于特别开发的翻译模型为真实生活口语谈话
文本到语音, 必要时, 产生翻译的音频。
自动语音识别 (ASR)
自动语音识别 (ASR) 是使用一个神经网络 (NN) 系统进行训练, 分析成千上万小时的传入音频语音。这个模型是通过人与人之间的交互而不是人与机器的命令进行训练的, 它产生了为正常对话而优化的语音识别。为了实现这一目标, 需要更多的数据以及比传统的人对机 ASRs 更大的 DNN。
了解更多关于 微软对文字服务的演讲.
TrueText
当人类与其他人交谈时, 我们不会像我们经常认为的那样完美、清晰或整齐地说话。使用 TrueText 技术, 文本转换为更密切地反映用户意图通过删除语音 disfluencies (填充字), 如 "um", "ah" s, "和" s, "像" s, 结巴和重复。通过添加句子分隔符、正确的标点和大写, 也可以使文本更易于阅读和翻译。为了达到这些结果, 我们用了数十年的语言技术工作, 我们从翻译公司发展到创建 TrueText。下面的关系图通过一个真实的示例描述了各种转换 TrueText 操作以规范化此文本。
翻译
然后将文本转换为任何 语言和方言 由Translator支持。
使用语音翻译 API (作为开发人员) 或语音翻译应用程序或服务中的翻译是以最新的基于神经网络的翻译为基础的, 用于所有语音输入支持的语言 (请参见 这里 完整列表)。这些模型还通过扩展当前的, 主要是书面文本训练的翻译模型来建立, 用更多的口语语料库构建一个更好的口语会话类型的翻译模式。这些模型也可通过 "语音" 标准类别 传统的文本翻译 API。
对于任何不受神经翻译支持的语言, 都执行传统的 SMT 翻译。
文本到语音
如果目标语言是18支持的文本到语音的一种 语言, 并且用例需要音频输出, 然后使用语音合成将文本转换为语音输出。在语音到文本翻译方案中省略此阶段。
了解更多关于 微软的文本到语音服务.