首页 > 教程资讯 > 教程详情

Hugging Face 发布 Carbon-X:148 亿参数,用聊天方式解读 DNA

AI 与前沿 极客小林 2026-10-23
文章分享

Hugging Face 发布开源 DNA 理解与生成模型 Carbon-X,用户可在普通聊天对话中贴入原始 DNA 序列,并获得英文回答。据模型卡介绍,它能预测突变是良性还是致病、识别调控基因活动的区域,并预测序列的后续碱基;模型权重可放入单张 80 GB GPU,让研究人员在自己的基础设施上处理序列。

DNA 与自然语言联合训练

据模型卡,Carbon-X 拥有 148 亿参数,采用纯解码器架构,由 Hugging Face、中关村学院,以及 Telethon 遗传与医学研究所/那不勒斯费德里科二世大学的研究团队合作开发。

模型以 Qwen3-14B 为起点,使用 DNA、生物学文本、英文和指令数据进行了 3020 亿 token 的中期训练,随后进行监督微调和基于可验证奖励的强化学习。

DNA 与文本在同一个解码器中共用一条 token 流,没有独立的 DNA 编码器。DNA 按不重叠的 6-mer 编码,每个 DNA token 覆盖 6 个碱基对;模型卡列出的上下文窗口为 40,960 token。

五项基准平均得分 66.7%

发布方自测显示,Carbon-X 在关闭思考模式时,五项 DNA 基准的平均得分为 66.7%,比底座 Qwen3-14B 高 27 个百分点,领先此次参评的其他开源模型,接近 GPT-6.1 Sol 的 67.5%。这些基准覆盖变异效应预测、序列理解和后续碱基预测。

模型卡称,Carbon-X 每题推理成本约为 GPT-6.1 Sol 的 1/1,800。比较模型采用标准 API 定价,Carbon-X 则按 H200 每小时 5 美元及实测吞吐量计算。发布方进一步估算,分析 ClinVar 中 240 万个意义未明变异,Carbon-X 约需 300 美元,参评前沿模型约需 3.2 万至 400 万美元。上述成绩和成本均来自发布方评测或估算。

可本地部署,未经临床验证

Carbon-X 权重以 Apache 2.0 许可发布。据模型卡,使用 bfloat16 精度时,单张 80 GB GPU 即可容纳权重,并可通过 vLLM 部署。

模型卡明确指出,Carbon-X 未经临床验证,不应用于医疗决策。其能力也不均衡:发布方自测中,GenomeQA 的剪接位点和组蛋白标记任务准确率分别为 29.8% 和 34.6%。模型可能数错碱基、混淆坐标或错误编辑序列,在缺少上下文时还可能编造序列身份或功能。

尽管支持序列生成,模型卡强调,Carbon-X 主要用于读取和解释已有序列,并未接受设计新序列的训练;生成较长 DNA 序列时,质量会下降。

来源