3秒复制任何人的嗓音，微软音频版DALL·E细思极恐

只需3秒钟，一个根本没听过你说话的AI，就能完美模仿出你的声音。例如这是你的一小句聊天语音：这是AI根据它模仿你说话的音色：是不是细思极恐？这是微软最新AI成果——语音合成模型VALL·E，只需3秒语音，就能随意复制任何人的声音。它脱胎于DALL·E，但专攻音频领域，语音合成效果在网上放出后火了：

有网友表示，要是将VALL·E和ChatGPT结合起来，效果简直爆炸：

看来与GPT-4在Zoom里聊天的日子不远了。

还有网友调侃，（继AI搞定作家、画家之后）下一个就是配音演员了。

所以VALL·E究竟怎么做到3秒钟模仿“没听过”的声音？用语言模型来分析音频基于AI“没听过”的声音合成语音，即零样本学习。语音合成趋于成熟，但之前零样本语音合成效果并不好。主流语音合成方案基本是预训练+微调模式，如果用到零样本场景下，会导致生成语音相似度和自然度很差。基于此，VALL·E横空出世，相比主流语音模型提出了不太一样的思路。

相比传统模型采用梅尔频谱提取特征，VALL·E直接将语音合成当成了语言模型的任务，前者是连续的，后者是离散化的。

具体来说，传统语音合成流程往往是“音素→梅尔频谱（mel-spectrogram）→波形”这样的路子。

但VALL·E将这一流程变成了“音素→离散音频编码→波形”：

具体到模型设计上，VALL·E也和VQVAE类似，将音频量化成一系列离散tokens，其中第一个量化器负责捕捉音频内容和说话者身份特征，后几个量化器则负责细化信号，使之听起来更自然：

随后以文本和3秒钟的声音提示作为条件，自回归地输出离散音频编码：

VALL·E还是个全能选手，除了零样本语音合成，同时还支持语音编辑、与GPT-3结合的语音内容创建。

那么在实际测试中，VALL·E的效果如何呢？

连环境背景音都能还原

根据已合成的语音效果来看，VALL·E能还原的绝不仅仅是说话人的音色。

不仅语气模仿到位，而且还支持多种不同语速的选择，例如这是在两次说同一句话时，VALL·E给出的两种不同语速，但音色相似度仍然较高：

同时，连说话者的环境背景音也能准确还原。

除此之外，VALL·E还能模仿说话者的多种情绪，包括愤怒、困倦、中立、愉悦和恶心等好几种类型。

值得一提的是，VALL·E训练用的数据集不算特别大。

相比OpenAI的Whisper用了68万小时的音频训练，在只用了7000多名演讲者、6万小时训练的情况下，VALL·E就在语音合成相似度上超过了经过预训练的语音合成模型YourTTS。

而且，YourTTS在训练时，事先已经听过108个演讲者中的97人声音，但在实际测试中还是比不过VALL·E。

有网友已经在畅想它可以应用的地方了：

不仅可以用在模仿自己的声音上，例如帮助残障人士和别人完成对话，也可以在自己不想说话时用它代替自己发语音。

当然，还可以用在有声书的录制上。

不过，VALL·E目前还没开源，要想试用可能还得再等等。

作者介绍

这篇论文所有作者均来自微软，其中有三位共同一作。

一作Chengyi Wang，南开大学和微软亚研院联合培养博士生，研究兴趣是语音识别、语音翻译和语音预训练模型等。

共同一作Sanyuan Chen，哈工大和微软亚研院联合培养博士生，研究方向包括自监督学习、NLP和语音处理等。

共同一作Yu Wu，微软亚研院NLP小组研究员，在北航获得博士学位，研究方向是语音处理、聊天机器人系统和机器翻译等。

谷歌Chrome新特性：基于网站启用和禁用扩展程序

IT之家 1 月 15 日消息，谷歌正对 Chrome 浏览器的一项新功能进行 A / B 测试，允许用户针对指定的某个网站启用 / 禁用扩展程序。

Chrome Web Store 上提供了丰富的扩展程序，但用户在日常使用过程中可能会遇到这样的问题：某些扩展程序导致网站无法正常显示；某些网站不允许使用诸如广告拦截器等扩展程序。而谷歌计划为 Chrome 浏览器引入“基于网站启用 / 禁用扩展程序”特性，在遇到某个站点和某款扩展程序不兼容的时候，可以选择性关闭，而不是完全关闭扩展程序。这项功能只通过扩展菜单进行调整，目前还不能通过设置页面以站点为单位管理扩展权限。作为这项功能更新的一部分，谷歌还将允许你使用重新设计的扩展菜单来启用或禁用某个特定网站的特定扩展。IT之家提醒：谷歌仍在开发 Chrome 的新扩展菜单，可能不会在近期向用户开放。

文章来源 ：澎湃新闻、IT之家

精彩推荐

最难就业季|“本想先读书躲一躲，谁料行情还不如两年前”

WEB渗透夏日特训来袭！|web渗透入门基础篇|暑期充电

‍

‍

严厉打击！“内鬼”泄露公民个人信息违法犯罪

‍