微软研究院(Microsoft Research,MSR)研究员 John Langford 在个人博客 hunch.net 发文,宣布他与同事在院内组建的子组织 AI Frontiers(AIF)已经结束。他写道「AI Frontiers is over」,并称来年不会再有该组的实习名额。文章回顾了这支约 50 人的团队如何在 2023 年 ChatGPT 发布后成立、做了哪些工作,以及今年 9 月初被重组划入 Microsoft AI(MAI)之后,他为何在安置团队后离开、且不回到 MSR。
Langford 称,2023 年 ChatGPT 发布之后,他清楚感到:研究要成功,组织程度需要高于微软研究院里常见的做法。其他研究组投入的支持与专注已经很大,一个人即使追着一个聪明的想法走,也很可能来得太晚、说服力不足——一个人移动不够快,一个人能搭起来的基线也不足以说明这个想法值得推进。另有几位同事看法相近,于是他们组织起来,在 MSR 内建立了 AI Frontiers 这一子组织。
他写道,AIF 主动把研究收成连贯的努力。这并不精确地是「自上而下」或「自下而上」,大多处在混乱的中间地带。分歧当然存在,解决起来有时相当困难;算力可用量也常常是严重瓶颈。尽管如此,以 AIF 大约 50 人的规模、并对照他们此前能做的事,他的总体印象是:这个组织在做开创性的事情。
据 Langford 描述,AIF 的许多工作是弄清如何让 agent 运转起来,例子包括 Autogen 编排框架,以及 Fara 电脑使用 agent。在纽约,他们中的几个人则关心新的基础能力,例如能够做外推的 Next Latent 目标、做出优化并改进 Muon 的 Dion3,以及借助递归、以更高效率让模型明显更强的 Full Bandwidth Transformer。
AIF 也尝试与研究院的其余部分共享。Langford 举例说,AIF 决定开发一个默认与整个微软研究院共享的 monorepo;其中包含他在上个月 COLM 主题演讲中谈到的、已被证明可用的边缘规模预训练代码库。他称,建好一条成形的模型创建流水线所需的工作量很大,而他至少知道有 4 个团队在做模型构建流水线,另外 3 个并不在 MSR 内部公开的仓库里。
Langford 称,9 月初他们被重组划入 Microsoft AI。表面上看,把两个不同的 AI 组织放在一起,有机会把力气更集中;AIF 有领先于 MAI 的地方,MAI 当然也有领先于 AIF 的地方,而且 MAI 规模大得多。他写道,实际存在重大问题,因为 MAI 中前 Inflection 背景的领导层,其理念与 AIF 不相容。那里的核心理念是扩展规模,并且是「aggressively not research」。在他看来,只做规模扩展的环境里,主要精力会放在获取、制作和打磨数据上,与 AIF 当时的工作相距很远。除了焦点不合,他称有大量迹象表明对方其实并不想要他们。
文中,Langford 把「研究仍有回报」当作自己的判断,并举字节跳动的实验为例:这些实验表明,Full Bandwidth Transformer 的一个变体可能与两倍大小的模型相当,从而在同等能力下为训练和推理带来显著节省。这一比较是 Langford 对字节跳动实验的转述。
Langford 表示,他尽可能安置好自己的人之后离开。其他每一位 AIF 创始领导成员似乎也得出了类似结论。
至于为何不回到 MSR,他写道自己与同事谈过,但仍绕不开两个障碍。第一,他无法接受待在一家自己所做研究没有落到真实使用路径上的公司。他在 MAI 期间未能让创新进入使用,甚至未能让它被认真考虑,因此从 MSR 取得成功的前景在他看来相当小。第二,他担心 MSR 里的基本约定已经破裂:做好工作,就会有好结果。据他所见,他们做得不错,却在未经同意的情况下被划走(「non-consensually reorged away」)。他并称,在 MSR 领导层形成有效组织起来、以应对当下的意愿之前,这类事情继续发生并不会让他感到意外。
他在文末向留下的人致以祝愿,并写道:如果掌权的人能多一点智慧,不难想象未来的微软会重新变得对研究有吸引力。文中关于 MAI 理念、对方是否想要 AIF,以及研究院约定是否已经破裂的说法,均为 Langford 个人表述。