宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

微軟大規模服務中斷:由一個潛伏漏洞引發的級聯故障

2026年11月17日 首頁 » 熱門科技

初始原因是7月份的一次更新,但該問題直到上周才被觸發。

上周微軟多項服務出現了長達近一天的全球性中斷,微軟於周一發布了一份事件初步報告,指出了導致此次故障的多重因素,其中包括承認用於測試相關問題軟體更新的環境與實際運行的基礎設施並不匹配。

微軟執行副總裁查爾斯·拉曼納(Charles Lamanna)在社交媒體上發布了該報告摘要,其中列出了導致此次故障級聯發生的部分因素。

報告稱:"一個潛伏缺陷導致伺服器在特定負載條件下變得不堪重負並失去響應。"報告補充說,"這一缺陷是一項專為微軟365網路網關伺服器準備的修複方案所導致的。"該修複方案於7月開始部署,報告稱,"三個多月來,該變更在全球範圍內部署,未造成任何影響。"

微軟承認,儘管在部署前對該變更進行了測試,但其測試環境與實際情況並不相符。

"我們常規的負載測試未能發現這一潛伏問題,原因在於測試實驗室中使用的流量和配置組合與實際情況不同,"微軟表示,"在核心數量更多、硬體更新的機器上,這一資源爭用問題會進一步惡化;而我們的負載測試往往更側重於核心數較少的較弱硬體配置。"

公司解釋稱,一次由無關問題引發的流量激增也加劇了此次故障,並延誤了問題的修復。

微軟表示:"在微軟365內部,我們維護著兩套獨立且異構的網路網關系統,用於實現隔離和高可用性。這使得許多微軟365服務能夠在網關之間進行故障轉移,以應對中斷或故障。在此次故障發生前約15小時,Teams從備用網路網關故障轉移到了同時支持Exchange Online的主網關。這增加了該網路網關的負載,並改變了其流量模式。"

報告稱,情況進一步惡化的是,"由於前一天發生的另一起無關問題,該網路網關近14%的伺服器容量處於離線狀態。"微軟未提供有關該無關問題的詳細資訊。

上述多重因素的疊加最終導致了此次服務中斷。

級聯故障微軟大規模服務中斷由一個潛伏漏洞引發的級聯故障

微軟表示:"負載增加和伺服器容量減少,共同導致網路網關觸發了7月份遺留的潛伏漏洞。這使得請求不斷堆積,最終導致伺服器完全停止響應。"雖然當伺服器失去連接時,流量管理系統通常會自動將用戶請求重新路由至其他正常節點,但被重定向的流量卻使得該漏洞在剩餘正常節點上更容易被觸發。

報告稱:"這導致了從一台伺服器到另一台伺服器的級聯故障,因為同樣的負載被分攤到了數量更少的伺服器上。不到兩小時內,此前未知的缺陷就波及了我們的整個伺服器集群,使其全部失去響應。在最嚴重時,超過80%的伺服器處於無響應狀態。"

這一系列級聯問題也給微軟的修復工作帶來了困難,因為當伺服器被重新上線後,大量積壓的流量會再次觸發該漏洞,導致它們再度失去響應。

微軟表示:"我們通常採用的自動化恢復流程,並非為應對這種大範圍無響應狀態而設計。此外,由於該核心代碼缺陷是幾個月前就已存在的潛伏問題,我們常規的回滾、灰度發布和功能開關機制都無法迅速撤銷這一變更。"

仍需進一步解釋

多位顧問表示,微軟在嘗試恢復系統服務方面整體表現值得肯定,但同時指出,該公司仍需進一步解釋為何其測試環境與實際情況不符。

Beauceron Security首席執行官戴維·希普利(David Shipley)表示:"我認為這是該業務模式中固有的一種風險,無法通過某種巧妙的變通方案加以規避。"

他說:"微軟幾乎做到了我能想到的所有應對措施,但最終卻以一種極其罕見的邊緣情況全面失敗。老實說,'微軟被自身SKU複雜性反噬'這種情況,我此前完全沒有預料到,但細想之下又帶著一種因果循環般的必然性。"他強調,報告中最令人擔憂的部分在於,它並未給客戶提供任何切實理由,讓人相信類似的級聯故障不會在下周再次發生在微軟身上。

希普利說:"這件事最令人不安的地方在於,類似的情況完全有可能再次發生。令人驚訝的是,這種邊緣情況居然拖了這麼久才發生。這是我印象中第一次出現'更好、更強的伺服器'反而成為此類漏洞根源的情況。"

"潛伏缺陷演變為系統性故障"

Aikido Security企業首席資訊安全官邁克·威爾克斯(Mike Wilkes)對此表示認同。

他說:"頗具諷刺意味的是,更新、更強大的硬體反而放大了此次故障,這提醒人們,可擴展性與系統韌性並非同一回事。此次服務中斷堪稱一個典型案例,展示了當工程假設與生產環境的實際情況發生衝突時,潛伏缺陷是如何演變為系統性故障的。微軟實際上已經承認,其測試環境未能真實反映自身生產基礎設施的硬體特性、並發特性以及流量特徵。"

威爾克斯表示,報告中有一部分內容頗具諷刺意味。他指出:"最令人尷尬的一點是,微軟自己的狀態頁面也在此次故障中受到了影響。當用於告知用戶基礎設施出現故障的系統,竟然依賴於同一套出問題的基礎設施才能正常運作時,這說明對故障模式的理解已經薄弱到何種程度?這不僅僅是一次技術疏漏,更是一種想像力層面的架構性失敗,也未能吸取本應在30多年前就已積累的經驗教訓。"

獨立技術顧問史蒂芬·埃里克·費舍爾(Steven Eric Fisher)表示,他同樣認為測試環境與生產環境不一致是此次事件中最大的危險信號。

費舍爾說:"如果你的測試無法充分復現生產環境的硬體特性、並發情況、流量模式以及運行條件,那就意味著你已經在事實上接受了重大缺陷可能被漏檢的風險。這裡尤其令人擔憂的一點是,微軟的生產環境硬體性能本應優於測試環境,但恰恰是這種更強的性能,反而加劇了該缺陷的影響。"

Dickson Research首席分析師弗蘭克·迪克森(Frank Dickson)補充說,此次修復工作中還存在另一個問題,即自動化系統在很長一段時間裡悄無聲息地處理了大量孤立的伺服器故障,實際上這掩蓋了問題的嚴重性,從而延誤了全面響應。

他指出:"在故障真正爆發之前,其實早已有跡可循。Teams的流量在協調世界時1:07轉移到了共享網關上,此後15小時內,部分地區陸續出現孤立的伺服器故障。自動化系統悄無聲息地逐一處理了這些故障。直到協調世界時16:20,高優先級警報才被觸發。這種不斷悄悄撲滅小火苗的自動化機制,反而可能掩蓋了整棟大樓正在逐漸升溫的事實。"

本文最初發表於Computerworld。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新