JetBrains 在其 AI 博客发布了一项小实验:让 12 个较新的大模型就编程语言各自给出「最有争议的观点」,共收集 1,200 条回答。据 JetBrains 统计,其中 904 条(75%)是批评,只有 291 条是辩护。Python、Rust 和 TypeScript 挨骂最多,PHP 和 Java 则多被辩护。
JetBrains 选了来自 10 家实验室、分属 3 个国家的 12 个模型。每个模型回答两个问题,每题 50 次,每次都是新对话,不带系统提示:
1,200 次请求全部收集完,JetBrains 称这部分成本为 7.68 美元;含标注在内的总成本为 38.16 美元。
在 600 次「随机选一门语言」中,模型只选了 14 门语言,其中 5 门占了 541 次(90%)。Go 被选 156 次,Python 被选 151 次,二者合计 307 次。JetBrains 认为,模型选中某门语言后多半是在批评它,所谓「随机选」实际变成了「选一门你讨厌的」。
Go 共 238 条,118 条批评、118 条辩护、2 条混合。同一个模型也会自相矛盾:GPT-6.1 Sol 在新对话中对 Go 的错误处理辩护 20 次、批评 21 次。
1,200 条回答中没有一条以 C#、Kotlin、Swift 等语言为对象。它们分别在 24、20、13 条回答中被提及,但都只是作为对比出现。
JetBrains 在文中说明了几点限制:
这项实验由 JetBrains 自行完成,结果只反映这些模型在特定提示下的回答倾向。