研究团队利用深度学习神经网络从人脑记录的电信号中合成语音，帮助人们应对语音挑战。
在三个独立的实验中，研究团队使用皮层脑电图（ECoG）来测量受试者在听别人说话或自己说话时大脑中的电脉冲。然后，这些数据被用来训练神经网络产生语音输出。这项工作的动机是创建一个脑-机接口或“语音假肢”，直接将用户大脑中的信号转换成合成语音，帮助那些不能说话的人。
第一个实验是由哥伦比亚大学的一个团队进行的，使用了癫痫患者接受治疗的数据。研究人员将电极植入患者的听觉皮层，并在患者收听简短的口语录音时从电极上收集 ECoG 数据。研究人员使用Keras和Tensorflow训练了一个深度神经网络（DNN），使用 ECoG 数据作为输入，并以录音的声码器/声谱图表示为目标。为了评估结果音频，研究人员让听众听复原数字，并报告他们听到了什么；最佳模型的精度达到 75%。
由德国不来梅大学的 Tanja Schultz 教授领导的另一个研究小组收集了接受颅骨切除术的病人的数据。研究人员向这些患者展示了单个单词，他们大声朗读这些单词，同时记录他们的 ECoG 信号。语音也被记录下来并转换成声谱图。然后，他们训练了一个密集卷积网络（DenseNet），将大脑信号转换成声谱图。接下来，他们用WaveNet声码器将声谱图转换成可听语音。为了评估合成语音，研究人员使用了一种名为短时目标可懂度（STOI）的算法来测量语音质量。分数介于 30%到 50%之间。
最后，由加利福尼亚大学的 Edward Chang 领导的第三个研究小组，也使用了患者大声朗读时记录的ECoG信号数据。该团队使用了两个长短期记忆（LSTM）网络的方法。第一个学习了从大脑信号到“中间关节运动表征”的映射，该映射可以建模说话者声道的物理行为。第二个 LSTM 学习了从运动表征输出到实际音频的映射。这个模型使研究人员能够从记录的大脑活动中合成语言，而病人只是做出说话的动作，并没有真正发出声音。通过Amazon Mechanical Turk，研究人员让听众在听到一个合成的句子后，从多项选择的答案中选出一个来标识他们听到的句子。正确识别每句话的听众的中位数百分比是 83%。
要使这项技术成为一种实用的假肢，还有很长的路要走。首先，所有的方法都使用了收集到的电极数据，这些电极被植入那些头骨被打开进行脑部手术的病人的大脑中。虽然 Chang 的团队确实证明了无声哑剧所产生的信号可以合成语音，但是，许多可能需要这种假肢的使用者可能无法很好地控制他们的声道，甚至无法做到这一点。
查看英文原文：Deep Learning for Speech Synthesis of Audio from Brain Activity
活动推荐：
2023年9月3-5日，「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题，策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229（微信同手机号）。
暂无签名
腾讯大规模云原生技术实践案例集
本案例集详细阐释了 QQ、腾讯会议、和平精英、小红书、斗鱼、微盟等十多个亿级用户产品背后的大规模云原生...
评论