OpenAI 在一篇博客中表示,其新一代模型在编写和迁移 COBOL、Fortran、Visual Basic 等老旧编程语言的代码方面有明显进步。这些语言支撑着银行、支付等关键系统,但可供模型学习的代码和文档相对较少。
OpenAI 在博客中称,COBOL 支撑着超过 40% 的网上银行系统、80% 的线下信用卡交易和 95% 的 ATM 交易;Fortran 仍用于天气预报和核反应堆安全分析等领域。
OpenAI 还说明了这类语言的难处:与 Python、JavaScript 等语言相比,它们可供模型学习的代码和文档更少,却支撑着全球的关键基础设施和基本服务。
为衡量进展,OpenAI 自建了 MultiLangBench 基准,要求模型用 20 种编程语言分别从零构建一个兼容 SQLite 的数据库引擎。
按 OpenAI 公布的结果,GPT-6 Astra 的平均测试通过率为 87.4%,GPT-5.6 Sol 为 26.8%。OpenAI 称,提升覆盖所有被测语言,其中几项语言的成绩如下:
OpenAI 另外测试了模型能否把 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust,并且不改变程序行为。
据 OpenAI 介绍,GPT-6.1 Sol 在低推理强度下的准确率为 86.6%,GPT-5.6 Sol 在同一设置下为 5.4%,而 GPT-6.1 Sol 的 API 成本只有后者的 61%。在更高的推理强度下,GPT-6.1 Sol 的准确率达到 97.9%,OpenAI 称这使该评测接近饱和。
BleepingComputer 指出,这项成果可能帮助企业改造老旧软件,但生产环境中的迁移仍需要专家审查和测试。