首页 > 教程资讯 > 教程详情

Fish Audio 发布 Drama 3:开放权重语音合成模型,一段文本最多可演 16 个角色

AI 与前沿 老K说软件 2026-10-15
文章分享

Fish Audio 于 2026 年 10 月 13 日发布新一代文本转语音模型 Drama 3,同步上线 fish.audio 网页端、iOS 和 Android 移动端应用以及 API,权重同时公开到 Hugging Face。官方称这是其迄今情感表现力最强的模型,并在 Artificial Analysis 的发音稳健性基准测试中排名第一。

发布与优惠

据 Fish Audio 官方博客,Drama 3 在网页端、移动端应用和 API 同步可用。截至 11 月 12 日,API 享 2 折优惠,价格为每百万字符 10 美元(原价 50 美元);新订阅创作者计划享 5 折优惠。

发音准确率:第三方基准排名第一

官方博客引用 Artificial Analysis 的发音稳健性(Pronunciation Robustness)基准测试:该测试把生僻词放进英语句子,由人类听众逐词检查。Drama 3 总体准确率为 93.2%,排名第一;Fish Audio 自家的 S2.1 Pro 为 88.1%。

分项对比如下(Drama 3 对 S2.1 Pro):

  • 品牌名、地名和专业术语:95.9% 对 87.3%
  • 读音取决于语境的单词:95.3% 对 86.1%
  • 数字、日期、单位、符号:93.6% 对 92.7%
  • 代码、路径、电子邮件:86.3% 对 79.4%

模型结构与推理速度

据官方博客,Drama 3 的骨干网络是 35B 参数的混合专家模型,每个 token 激活约 3B 参数(256 个路由专家中的 8 个,加 1 个共享专家),基于 Qwen3.5-35B-A3B 初始化。模型共 40 层,以 3:1 的比例混合 Gated DeltaNet 与 Gated 全注意力。

音频分词器为 44.1 kHz、十个码本、约每秒 21.5 帧。Fish Audio 称,在单块 H200 上单流解码速度为每秒 271 帧,S2 为 177 帧。

训练上,官方称 Drama 3 采用 GRPO 强化学习,奖励来自单一的人类偏好模型,没有基于规则的奖励,也没有 KL 惩罚。GitHub 发布说明还给出一组发布方自测数据:在 Step-Audio-Edit 上,经三轮修订,情感准确率从 55.5% 升至 58.2%,风格准确率从 76.5% 升至 81.8%。

多角色与长文本

据 GitHub 发布说明,Drama 3 支持用 <|speaker:i|> 标记多角色场景,最多 16 个说话人。长文本会按约 300 UTF-8 字节分块,每块最多三个说话人。官方博客称模型支持 83 种语言;GitHub 发布说明则写预训练覆盖约 80 种语言和方言、数千亿 token。

许可与运行要求

Drama 3 权重已上传 Hugging Face,采用新的 Fish Audio Community License v1.0:

  • 研究和非商业用途免费;
  • 年收入低于 50 万美元可免费商用;
  • 超出限额,或将其作为 TTS、语音克隆或推理服务/API 提供给他人,需获得 Fish Audio 授权;
  • 禁止未经同意克隆真实人物的声音。

S2 仍遵循 Fish Audio Research License。运行方面,GitHub 发布说明称需要至少 48 GB 显存的 NVIDIA GPU(FP8)。

尚未开放的编辑功能

官方博客称,交互式编辑和音频补全(Audio Inpainting)两款编辑工具仍处于小范围邀测,编辑 API 也即将推出。

来源