首页 > 教程资讯 > 教程详情

开源音频决策模型 homi 发布:听音频回答选择题,自测成本远低于 Gemini Flash

AI 与前沿 老K说软件 2026-10-29
文章分享

开源项目 homi 是一个面向音频的开放「决策模型」:输入一段音频和一个问题,模型为每个选项返回概率,不生成文本。项目署名为 Outlier Humans Inc.。项目方称,homi 在 VocalGrad 基准上超过 Gemini Flash,在 MMSU 上与之相当,且单题成本低得多。以下成绩与成本均来自项目方自测。

它做什么

项目指出,许多关于语气、语调和发音的问题无法仅凭转写文字回答。例如,问题是「说话人感觉如何」,选项为愤怒、开心、悲伤、恐惧、厌恶。homi 直接接收音频并回答这类问题,可用于低成本监测和评估大规模音频。

homi 以 Qwen3-Omni-30B-A3B-Instruct 为底座,冻结权重,用决策头替换语言模型输出头,并增加 1700 万参数的 LoRA 和一个校准温度参数。它支持三类问题:

  • noul:是/否题
  • choice:包含 2 到 255 个选项的选择题
  • score:分为 2 到 10 级的程度题

成绩与成本

项目称,测试每个模型时使用相同的音频、问题和选项,未作答计为答错。

  • VocalGrad(7,200 题):homi 得 73.9 分,Gemini 3.8 Flash 得 63.0 分,Gemini 3.5 Flash-Lite 得 50.9 分,Qwen3-Omni-30B-A3B 得 50.3 分,OpenAI gpt-audio 得 33.8 分。
  • MMSU(4,981 题、47 个任务):Gemini 3.8 Flash 得 85.7 分,homi 得 83.1 分,Qwen3-Omni-30B-A3B 得 72.2 分。

成本方面,homi 按单张 H200 的 GPU 使用时间计算,价格为 4.54 美元/小时,采用批量运行;API 模型则按报告的 token 数和标价计算,其中 Gemini 3.8 Flash 使用促销价。每万题的成本为:在 VocalGrad 上,homi 为 0.12 美元,Gemini 3.8 Flash 为 12.10 美元;在 MMSU 上,两者分别为 0.28 美元和 14.80 美元。

项目还称,gpt-audio 在 MMSU 上有 13% 的题目未作答,在 VocalGrad 上有 34% 的题目未作答,原因是拒答或要求「播放音频」。仅计算已作答的题目时,得分分别为 69.5 和 51.2。

校准与局限

校准方面,homi 在 VocalGrad 上表现得过度自信:最自信的一组回答平均置信度为 98%,正确率为 85%。项目方称,MMSU 的音频和文本均未包含在训练数据中,MMSU 使用的源数据集也不在其中。

项目列出的弱项包括:判断说话人数量时通常少报一个、处理多人长对话、完成押韵对句,以及根据停顿进行推理。

运行与许可

运行需要具有约 70 GB 空闲显存的 GPU(bf16)。在 H200 上,对短音频的三个问题执行一次批量前向计算约需 75 毫秒。代码采用 Apache-2.0 许可,Hugging Face 上的权重同样采用 Apache-2.0 许可。

来源