微软在 Microsoft 365 管理中心发布的初步事故报告中称,11 月 12 日导致 Outlook、Exchange Online、Teams 和 Copilot 等服务在全球范围内中断近一天的故障,源于 7 月为 Microsoft 365 网络网关服务器推出的更新中的一个软件缺陷。据 BleepingComputer 和 The Register 报道,这个缺陷在三个多月里没有出过问题,直到流量增加与服务器容量减少同时出现,才被触发。
据 BleepingComputer 报道,故障始于美东时间 11 月 12 日(周四)上午 11 时 20 分,微软确认客户影响在次日(11 月 13 日)美东时间上午 11 时 10 分结束。
The Register 援引报告称,Teams 向 Exchange Online 所用网关的故障切换发生在 UTC 时间 11 月 12 日 01:07,BleepingComputer 称这比宕机开始早约 15 小时。随后负载逐步上升,微软的连接异常监控在 UTC 16:03 发现连接问题增多,16:33 收到第一个支持工单。
微软称,此次宕机由三个问题共同造成:
微软称,服务本有足够的容量余量,但流量增加与容量减少叠加,触发了这个缺陷。
据 The Register 援引报告,该缺陷会在 Windows 的一个内部进程中造成锁争用,耗尽机器的 CPU 和内存。微软称,核心越多、硬件越新,争用问题越严重,而其负载测试多使用核心较少的较弱硬件,所以没有发现这个问题。
微软称,服务器失去响应后,流量被转到其他服务器,后者也相继出现同样的问题。不到两小时,缺陷就在整个服务器群中出现,最低时超过 80% 的服务器无响应。微软还称,用来防止问题在区域间扩散的保护措施也没能拦住这次连锁故障。
报告称,Teams、OneDrive、SharePoint 和 Office 应用可以切换出故障的网关基础设施,因此较早恢复。Exchange Online 因规模原因无法切换,用户长时间无法访问邮箱。
恢复过程同样不顺:重启的服务器很快又被积压的流量压垮。由于缺陷已存在数月,无法直接回滚,工程师开发了一个把代码路径恢复到此前已知良好状态的更新,并分批部署。
微软称已扩容、改进监控,并增加防护,避免流量重定向再次引发类似的连锁故障。微软执行副总裁 Charles Lamanna 在 X 上发表声明,称对客户受到的影响深表歉意。
最终事故报告方面,The Register 称将于 11 月 20 日发布,BleepingComputer 则称预计在本周晚些时候。