首页 > 教程资讯 > 教程详情

开发者把 EmbeddingGemma 2 改造成语音转写模型:基础款 MacBook Air 上 1 小时音频约 13 秒转完

AI 与前沿 编辑部小鹿 2026-10-14
文章分享

一款名为 Embedding Gemma Transcribe 的免费 Mac 应用,把 Google 的多模态嵌入模型 EmbeddingGemma 2 改造成了语音转文字模型。项目页称,它在基础款 MacBook Air 上约 13 秒就能转完 1 小时音频,全程在设备端运行。值得关注的是,基础模型从未针对语音转文字训练过,团队只额外训练了一个小「读取器」。

怎么做到的

EmbeddingGemma 2 是多模态嵌入模型,文本、图像、音频和视频处于同一向量空间,说出的词与写下的同一个词在空间里彼此靠近。项目团队据此尝试直接从这个空间里读出文字。

项目页介绍的流程分四步:

  1. EmbeddingGemma 2 的音频编码器保持不变。
  2. 一个小「读取器」把每一小段音频映射到模型的文本空间。
  3. 在约 229,000 个英文词中取最接近的词,各片段拼成转写稿。
  4. 一个微型模型补上标点和大小写。

只有读取器经过训练:在 8 块 H100 上训练不到 2 小时,数据为开放授权的英文语音。

速度与精度

以下速度数据均来自项目页,属于发布方自测或其引用的公开基准。

在 8 GB 内存的基础款 M3 MacBook Air 上,Embedding Gemma Transcribe 跑在神经网络引擎上,速度为 288 倍实时,1 小时音频用时 12.6 秒。同一台机器上,IBM Granite Speech 5.0 TurboCTC(GPU/MLX)约为 150 倍实时,1 小时音频用时 25.7 秒。

项目页还列出了 FluidAudio 公开基准中的几组数据:NVIDIA Parakeet TDT 0.6B v3 在 M4 Pro 上为 156 倍、在 M5 Pro 上为 335 倍;Parakeet v3 的微调版 Phonon-2 在 M5 Pro 上为 480 倍。项目页说明,这些数据对应的机型更大更新、音频也不同,只是粗略参考,不是同条件排名。

精度方面,项目页称其当前词错误率约为 5%,领先语音模型为 2% 至 3%。团队表示,训练得更好的读取器有望缩小差距,这是下一版的方向。

怎么用

应用目前为免费的 v1.6 版本,要求 macOS 14 及以上和 Apple Silicon 芯片,首次启动需下载约 715 MB 的模型。

使用方式有两种:把音频文件拖入应用;或按住右 Option 键说话,松开后文字会输入到任意应用。项目页称,应用运行在 Mac 的神经网络引擎上,音频不会离开设备。

来源