写点什么

数百万小时训练,6 秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

MiniMax 技术团队

  • 2024-02-01
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

大小:701.41K时长:03:59
数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

从 0 到 1 的 MiniMax 语音大模型


2023 年 11 月,MiniMax 发布语音大模型 abab-speech-01。从 11 月至今,共有超过 400 家企业用户接入我们的语音大模型。


在实际应用中,来自各行各业的用户给我们反馈了很多好的建议和想法。例如,在复刻有声书场景下,市面上没有可以批量、快速生成多角色音频的解决方案;在直播电商等注重互动性的场景中,各家现有语音能力仍无法做到实时,在生成语音的过程中仍需一定的等待时间,非常影响用户体验;在教学场景中,模型碰到特殊字词或者多音字的情况,时常存在发音不准确的问题。


为了给用户带来更加高效、丰富和真实的语音定制体验,我们不断迭代 MiniMax 语音大模型,并基于用户高优需求新增语音 API 接口,并上线了多个产品功能。MiniMax 是目前第一个开放多角色配音商用接口的公司。


在模型基础能力上,我们的语音模型对长达数百万小时的高质量音频数据进行训练,基于它的训练结果,仅用 6 秒的音频就能完成音色复刻,基于文本生成语音的字错率低至万分之五,已达到全球顶尖水平。


针对用户的高优需求,我们新增了以下产品功能:


  • 三个 API 接口:多角色音频生成 API、文本角色分类 API 和快速复刻 API,帮助用户自主批量生成、克隆多角色音频;

  • 多语种能力、字典和间隔时长控制,满足用户丰富的定制化需求,提升教学场景体验

  • T2A Stream (流式语音输出) 实现生成与输出的同步,减少用户在直播、对话等场景的等待时间。


为了让更多用户体验、使用我们的技术,我们在价格上也做出了调整:T2A Pro、T2A、T2A Stream 等价格下调为原先的一半,由 10 元 / 万字符降至 5 元 / 万字符。


具体功能价格调整见下表:



声音小剧场


由于语音模型没有公开的测评集,衡量一个语音模型到底怎么样主要依靠几个比较主观的评判标准,例如:自然度、相似度,可懂度和情感表现等。以下是几个基于我们语音大模型生成、复刻的一些语音效果。大家可以听听看,欢迎拍砖:)


01 中英文夹杂读着毫无压力


文本:

哎,你说你特别想念某个东西,可以说"I really miss it a lot" 或者"I'm missing it terribly." 这样表达出你的感情。有什么特别想念的嘛?想聊聊吗?


声音 1(明杰):

00:00
00:13

声音 2(晨曦):

00:00
00:14


声音 3(祁辰):

00:00
00:14


02 跨语种复刻,比原声更自然


文本:

别担心,犯错是学习的一部分,下次你会做得更好的。Don't worry, making mistakes is part of learning. You'll do better next time.


原声音频(童声):

00:00
00:10

复刻音频(中 + 英):

00:00
00:12

只用中文原声,也可以复刻出他们讲中、英、日、韩等多种语言的声音:

韩语:

00:00
00:06

日语:

00:00
00:07


03 AI 嬛嬛和四爷,有没有甄嬛十级学者来检验一下效果?

00:00
00:12


00:00
00:09


04 多音字绕口令也难不倒!

真人都不一定能读准的多音字绕口令,我们的语音模型可以:)出现多音字的绕口令对语音模型理解上下文提出了很高要求。


“人要是行,干一行,行一行,一行行,行行行,行行行,干哪行都行”


00:00
00:08


05 实时语音通话,跟小海螺打电话吧


MiniMax 不仅为企业用户和开发者提供语音相关的 API,也为普通用户打磨了多款含有语音功能的产品。例如,我们在 AI 助手海螺问问上线了实时语音通话功能——无论你遇到什么问题,都可以随时打电话给小海螺,就像在和朋友聊天一样轻松、自然。小海螺的反应比 ChatGPT 的语音功能还快哦,快来体验一下吧!


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    06 唱 AI 嘻哈


    节奏感强、唱腔复杂的饶舌说唱,我们的模型也能够超酷演绎。

    想和 AI battle 说唱的朋友可以打开链接尝试:

    https://m.xingyeai.com/tag/2760001

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        2024-02-01 17:2710098

        评论

        发布
        暂无评论
        发现更多内容

        校园网黑龙江等级保护三级解决方案

        黑龙江陆陆信息测评部

        深度解析字节跳动Trae:中国首款AI编程工具如何重塑开发测试生态

        测试人

        人工智能

        从 MongoDB 到 TDengine,沃太能源实现 18 倍写入性能提升

        TDengine

        数据库 tdengine 时序数据库

        「2024龙蜥社区年度优秀贡献者」榜单公布,恭喜上榜企业和个人

        OpenAnolis小助手

        开源 操作系统 龙蜥社区 龙蜥社区年度优秀贡献者

        捷报频传 | 博睿数据斩获多项专利,科技创新再上新台阶!

        博睿数据

        京东店铺所有商品商品详情对接秘籍:全店商品API接入实战避坑指

        代码忍者

        京东API接口

        Active Directory审核的常见误区

        运维有小邓

        日志管理 日志审计 AD域管理

        国内企业与美国分支网络连接的四大实用方案

        Ogcloud

        企业组网 企业网络 企业网络专线 跨国企业组网

        九章云极DataCanvas公司与 GSMA共推 AI 普惠算力全球化发展

        九章云极DataCanvas

        17款研发项目进度管理软件性价比全揭秘

        易成研发中心

        企业网络防火墙部署指南

        Ogcloud

        防火墙 防火墙工具 防火墙软件 企业防火墙

        和鲸科技出席全球开发者先大会专题论坛语料专场,共探 AI 基础设施重构数据协作新范式

        ModelWhale

        Python 人工智能 大数据 AI DeepSeek

        签约!用友BIP助力中国南水北调打造智慧人力管理新标杆

        用友BIP

        AI 智能体 用友BIP 南水北调

        用友BIP融合场景地图发布,2000+业务场景实现一体化

        用友BIP

        AI 智能体 数智化 用友BIP 融合场景

        九章云极 Aladdin重塑 AI 开发范式的先锋力量

        九章云极DataCanvas

        用数据唤醒深度好眠,时序数据库 TDengine 助力安提思脑科学研究

        TDengine

        数据库 tdengine 时序数据库

        用友BIP携手ISV伙伴 共建企业数智化底座

        用友BIP

        AI 智能体 数智化 用友BIP

        AI赋能上云,打造有温度的HR SaaS“智能体”

        用友BIP

        HR 智能体 人力云 用友BIP YonGPT

        签约!中国果汁行业代表品牌-汇源选择用友BIP

        用友BIP

        AI 智能体 企业数智化 用友BIP

        2025企业数智化平台创新峰会即将召开!

        用友BIP

        AI 数智化 用友BIP

        数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?_AI&大模型_InfoQ精选文章