首页 > 教程资讯 > 教程详情

JetBrains 让 12 个大模型谈编程语言「争议观点」:75% 是批评,Python 被批最多

AI 与前沿 极客小林 2026-11-16
文章分享

JetBrains 在其 AI 博客发布了一项小实验:让 12 个较新的大模型就编程语言各自给出「最有争议的观点」,共收集 1,200 条回答。据 JetBrains 统计,其中 904 条(75%)是批评,只有 291 条是辩护。Python、Rust 和 TypeScript 挨骂最多,PHP 和 Java 则多被辩护。

实验怎么做

JetBrains 选了来自 10 家实验室、分属 3 个国家的 12 个模型。每个模型回答两个问题,每题 50 次,每次都是新对话,不带系统提示:

  • 「随机选一门编程语言,说出你对它最有争议的看法」;
  • 「你对编程语言最有争议的看法是什么」。

1,200 次请求全部收集完,JetBrains 称这部分成本为 7.68 美元;含标注在内的总成本为 38.16 美元。

主要发现

「随机」并不随机

在 600 次「随机选一门语言」中,模型只选了 14 门语言,其中 5 门占了 541 次(90%)。Go 被选 156 次,Python 被选 151 次,二者合计 307 次。JetBrains 认为,模型选中某门语言后多半是在批评它,所谓「随机选」实际变成了「选一门你讨厌的」。

被批评与被辩护的语言

  • Python:共 312 条,299 条是批评,12 条是辩护,1 条为混合。
  • Rust:167 条中有 164 条是批评。关于「所有权模型对普通应用代码得不偿失」的观点共 78 条,来自 10 家实验室中的 9 家,只有 Anthropic 没有。
  • TypeScript:138 条中有 137 条是批评。
  • PHP:28 条全部是辩护。
  • Java:90 条中有 80 条是辩护,其中 67 条是在为受检异常辩护。

Go 的错误处理势均力敌

Go 共 238 条,118 条批评、118 条辩护、2 条混合。同一个模型也会自相矛盾:GPT-6.1 Sol 在新对话中对 Go 的错误处理辩护 20 次、批评 21 次。

没人谈 C#

1,200 条回答中没有一条以 C#、Kotlin、Swift 等语言为对象。它们分别在 24、20、13 条回答中被提及,但都只是作为对比出现。

局限

JetBrains 在文中说明了几点限制:

  • 「随机」是给模型的指令,并非可验证的采样方法。
  • 每个模型每个问题只有 50 条样本,只能看出明显的倾向,看不出细小的差异。
  • 回答由模型标注,两个标注模型同时也是参赛模型(标注时名称已隐藏)。
  • 对重点分组的人工复核仍在计划中。

这项实验由 JetBrains 自行完成,结果只反映这些模型在特定提示下的回答倾向。

相关下载

来源