写点什么

数百万小时训练,6 秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

MiniMax 技术团队

  • 2024-02-01
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

大小:701.41K时长:03:59
数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

从 0 到 1 的 MiniMax 语音大模型


2023 年 11 月,MiniMax 发布语音大模型 abab-speech-01。从 11 月至今,共有超过 400 家企业用户接入我们的语音大模型。


在实际应用中,来自各行各业的用户给我们反馈了很多好的建议和想法。例如,在复刻有声书场景下,市面上没有可以批量、快速生成多角色音频的解决方案;在直播电商等注重互动性的场景中,各家现有语音能力仍无法做到实时,在生成语音的过程中仍需一定的等待时间,非常影响用户体验;在教学场景中,模型碰到特殊字词或者多音字的情况,时常存在发音不准确的问题。


为了给用户带来更加高效、丰富和真实的语音定制体验,我们不断迭代 MiniMax 语音大模型,并基于用户高优需求新增语音 API 接口,并上线了多个产品功能。MiniMax 是目前第一个开放多角色配音商用接口的公司。


在模型基础能力上,我们的语音模型对长达数百万小时的高质量音频数据进行训练,基于它的训练结果,仅用 6 秒的音频就能完成音色复刻,基于文本生成语音的字错率低至万分之五,已达到全球顶尖水平。


针对用户的高优需求,我们新增了以下产品功能:


  • 三个 API 接口:多角色音频生成 API、文本角色分类 API 和快速复刻 API,帮助用户自主批量生成、克隆多角色音频;

  • 多语种能力、字典和间隔时长控制,满足用户丰富的定制化需求,提升教学场景体验

  • T2A Stream (流式语音输出) 实现生成与输出的同步,减少用户在直播、对话等场景的等待时间。


为了让更多用户体验、使用我们的技术,我们在价格上也做出了调整:T2A Pro、T2A、T2A Stream 等价格下调为原先的一半,由 10 元 / 万字符降至 5 元 / 万字符。


具体功能价格调整见下表:



声音小剧场


由于语音模型没有公开的测评集,衡量一个语音模型到底怎么样主要依靠几个比较主观的评判标准,例如:自然度、相似度,可懂度和情感表现等。以下是几个基于我们语音大模型生成、复刻的一些语音效果。大家可以听听看,欢迎拍砖:)


01 中英文夹杂读着毫无压力


文本:

哎,你说你特别想念某个东西,可以说"I really miss it a lot" 或者"I'm missing it terribly." 这样表达出你的感情。有什么特别想念的嘛?想聊聊吗?


声音 1(明杰):

00:00
00:13

声音 2(晨曦):

00:00
00:14


声音 3(祁辰):

00:00
00:14


02 跨语种复刻,比原声更自然


文本:

别担心,犯错是学习的一部分,下次你会做得更好的。Don't worry, making mistakes is part of learning. You'll do better next time.


原声音频(童声):

00:00
00:10

复刻音频(中 + 英):

00:00
00:12

只用中文原声,也可以复刻出他们讲中、英、日、韩等多种语言的声音:

韩语:

00:00
00:06

日语:

00:00
00:07


03 AI 嬛嬛和四爷,有没有甄嬛十级学者来检验一下效果?

00:00
00:12


00:00
00:09


04 多音字绕口令也难不倒!

真人都不一定能读准的多音字绕口令,我们的语音模型可以:)出现多音字的绕口令对语音模型理解上下文提出了很高要求。


“人要是行,干一行,行一行,一行行,行行行,行行行,干哪行都行”


00:00
00:08


05 实时语音通话,跟小海螺打电话吧


MiniMax 不仅为企业用户和开发者提供语音相关的 API,也为普通用户打磨了多款含有语音功能的产品。例如,我们在 AI 助手海螺问问上线了实时语音通话功能——无论你遇到什么问题,都可以随时打电话给小海螺,就像在和朋友聊天一样轻松、自然。小海螺的反应比 ChatGPT 的语音功能还快哦,快来体验一下吧!


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    06 唱 AI 嘻哈


    节奏感强、唱腔复杂的饶舌说唱,我们的模型也能够超酷演绎。

    想和 AI battle 说唱的朋友可以打开链接尝试:

    https://m.xingyeai.com/tag/2760001

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        2024-02-01 17:279816

        评论

        发布
        暂无评论
        发现更多内容

        iOS 面试策略之系统框架-并发编程

        iOSer

        ios 并发编程 系统框架

        测试开发网络篇-网络协议简介

        禅道项目管理

        软件测试 自动化测试 测试开发

        基础设施设施即代码(IaC)平台 Pulumi | 混合云管理利器

        郭旭东

        基础设施即代码 IaC

        聊聊那些小而美的开源搜索引擎

        代码先生

        搜索引擎 elasticsearch meilisearch

        520 单身福利|获奖名单公布~

        InfoQ写作社区官方

        520单身福利 热门活动

        Why WebRTC|前世今生

        声网

        WebRTC RTC

        3、深潜KafkaProducer核心架构

        杨四正

        kafka 消息队列 kafka架构 kafka源码分析

        CompusBulider (模模搭)学习笔记7:3D场景中第一人称行走

        ThingJS数字孪生引擎

        3D可视化 数字孪生

        采用DevOps的7个主要障碍,你一定不知道!

        禅道项目管理

        DevOps

        Flume的负载均衡load balancer

        大数据技术指南

        flume 5月日更

        膜拜!Github访问量破百万,阿里内部首次公布的Java10W字面经有多强?

        Java 程序员 架构 面试

        看完了京东年薪150万的大佬扔给我的“阿里内部Java 成长笔记”,差距不止一点点

        Java 程序员 架构 面试 计算机

        BitMap 转置算法:不一样的 Count 求解方式

        GrowingIO技术专栏

        BitMap

        阿里内部百亿级高并发系统(全彩版小册开源):基础篇、数据库篇、缓存篇、消息队列篇、分布式服务篇、维护篇、实战篇;带你从基础到实战

        Java 程序员 架构 高并发

        GitHub标星235k!这份阿里P9纯手写的Java并发核心手册堪称无敌了

        Java架构之路

        Java 程序员 架构 面试 编程语言

        官方出手,一针见血!Spring Boot官方手册来袭:从入门到实战

        Java架构之路

        Java 程序员 架构 面试 编程语言

        致我的青春我的感情故事

        Changing Lin

        520单身福利

        SparkStreaming知识点总结

        五分钟学大数据

        大数据 5月日更

        Serverless:这真的是未来吗?(二)

        Serverless Devs

        Serverless 运维 云原生 后端 无服务器

        普通代码块 静态代码块 构造代码块......傻傻分不清

        麦洛

        Java

        基于 Qt Quick Plugin 快速构建桌面端跨平台组件

        网易云信

        音视频 qt

        520 表白,因一个分号被拒

        悟空聊架构

        520单身福利

        淘宝网能抗住“千亿级”并发量的奥秘是什么?

        Java架构师迁哥

        架构实战营模块3课后作业-基于“自研集群+MySQL存储”的消息队列架构设计方案

        吴建中

        架构实战营

        HIVE跑个insert into select xxx 为什么CPU飙高

        InfoQ_Springup

        hadoop

        包容的回答者

        王辉

        个人成长 沟通 团队文化 批判性思维 正念

        测试开发专题-开篇

        禅道项目管理

        软件测试 自动化测试 测试开发

        UCloud一站式智能大数据平台USDP免费版正式发布!

        UCloud技术

        hadoop CDH

        高可用 Keycloak,K8s

        Zhang

        MySQL k8s keycloak

        分库分表 springboot+dubbo+mybatisPlus+shardingSphere

        try catch

        dubbo 分库分表 springboot ShardingSphere MyBatisPlus

        阿里分布式大神亲码“redis核心技术笔记”,没有废话,全是干货!

        Java架构追梦

        Java redis 阿里巴巴 架构 架构分布式

        数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?_AI&大模型_InfoQ精选文章