1. 獨木既傾,千里連環
2026 年 10 月 20 日,Google Cloud 倫敦區域(europe-west2)發生重大服務中斷。風暴起於單一可用區的供電問題,卻沿著內部脈絡,跨越原本劃定的安全邊界,引發多項雲端服務的連鎖潰敗。
Google 的事故報告指出,英國夏令時間(BST)07:00 左右開始發生問題;至 13:10,超過 99% 的 Compute Engine 虛擬機器已恢復正常,事故於 15:03 宣告結束。這段時間的服務復原,除了重啟主機,還涉及基礎設施、容量調度與上層服務逐步恢復。
| 時間(BST) | 紀要 |
|---|---|
| 07:00 | 風暴初起,供電問題影響倫敦區域內的部分基礎設施 |
| 事故期間 | 多項雲端服務兵敗如山倒,核心工作負載癱瘓 |
| 12:29 | Google 進行基礎設施復原與服務路由調整 |
| 12:46 | 復原工作持續推進,服務陸續甦醒 |
| 13:10 | 超過 99% 的 Compute Engine 虛擬機器重返正常 |
| 15:03 | Google 宣告風暴平息 |
受波及骨幹服務包括 Compute Engine、Google Kubernetes Engine(GKE)、Cloud SQL、Cloud Storage、Persistent Disk、Pub/Sub 與 Memorystore。雲端服務即使分布在不同可用區,仍可能因共用的控制流程、服務關聯或容量限制,導致局部的破綻,誘發整片生態的「骨牌效應」。
2. 故障原爆點:備援供電在關鍵時刻撒手
危機的源頭是供電異常。市電中斷後,UPS(不斷電系統)以內力續命;然而,備用發電機卻未即刻接手。負責自動切換程序的主要與備援 PLC(可程式邏輯控制器)竟雙雙失能。UPS 電池旋即耗盡,europe-west2-b 可用區內的實體主機、關隘及本地儲存陸續離線,陷入一片死寂。
設備有備援,不代表功能就有備援。雙控制器若受相同的操作流程、狀態制約或其他共同環境因素影響,表面上的雙重配置,終究難逃共同模式故障(common-mode failure)。
對金融機構而言,備援設計不只要確認「有第二套設備」,還必須驗證故障發生時,接手程序能否在限定時間內完成,且不受原系統故障牽連。
3. 連鎖潰敗:局部骨折,何以演變成經脈盡斷?
架構設計中,劃分「可用區」的本意如同建造船艙的防火牆,旨在將災情孤立於局部。然而,一個活生生的系統,從控制平面、中介層,到資料庫與工作負載之間,滿是錯綜複雜的內力迴路。當某個可用區徹底失聯,其餘各區縱使毫髮無損,也可能因跨區經脈受阻而陷入癱瘓,服務不見得能維持正常。
B 區故障後,區域控制平面與部分中繼資料、目錄類元件之間的跨區 RPC(遠端程序呼叫)出現逾時。這些呼叫如同石沉大海,導致工作負載管理與日常操作全面脫軌。與此同時,工作負載重新調度、資料庫故障切換及查詢執行等需求,將如潮水般湧向倖存的可用區,使剩餘的容量承受極限壓迫。
當請求的洪流淹沒了殘存的資源,或者失敗的呼叫因缺乏克制而陷入瘋狂的重試性,系統便會墮入萬劫不復的惡性循環深淵:佇列嚴重淤積、資料庫換手延滯、回應時間無限拉長,最終只能拋出 HTTP 500 或 503 的白旗。
| 故障階段 | 連鎖效應 |
|---|---|
| 可用區斷電離線 | 原本在B區執行的主機、網路或儲存服務停止運作 |
| 跨區RPC逾時 | 控制平面與相關服務無法取得必要資訊完成操作 |
| 工作負載重新調度 | 其他可用區承接額外需求,資源與資料庫負載上升 |
| 重試與佇列堆積 | 失敗請求再次進入系統,進一步消耗資源 |
| 上層服務崩潰 | 用戶端收到逾時或 500、503 等錯誤,業務中斷 |
分散部署,不等於各自獨立。只要服務之間還留有跨區呼叫的臍帶、共用同一個大腦(控制元件),或在容量上互有牽連,局部的傷口就會撕裂原本預設的安全邊界。
4. 復原與金融業務:VM 恢復,不代表交易恢復
復原工作並非只要恢復供電、重新啟動虛擬機器即可。Google 必須隔離故障區、調整工作負載排程與可用容量、恢復供電、重設並測試發電機控制器,再逐步啟動基礎設施。重新開門迎客(接收流量)之前,還必須逐一盤點主機的健康狀態與儲存完好度。
基礎設施的狀態健康,無法等於業務服務已經恢復。虛擬機器已能運作,但下層的資料庫可能還在狼狽地切換,佇列仍未清空,上層應用程式依舊完成端到端流程。
金融系統在面對「交易逾時」時,更面臨著「終局未定」的凶險:逾時不代表失敗,它只是一場沉默。 資金可能早已落入對方的帳戶,只是回傳捷報的信使死在半路。若應用程式誤將所有的沉默都視為失敗,盲目發動重試,便會帶來重複扣款、重複下單、帳務不一的災難。
應檢視的控制措施:
| 控制項目 | 確認能力 |
|---|---|
| 可用區隔離 | 單一可用區失效時,避免故障持續牽動其他區域 |
| 殘存容量 | 剩餘可用區是否有足夠資源承接工作負載 |
| 重試與退避 | 重試上限、退避策略、流量管制及佇列處理;避免混亂中被自己的重試狂潮踐踏致死 |
| 交易冪等 | 使用唯一請求識別碼、冪等處理、交易狀態查詢與事後對帳 |
| 端到端監控 | 能否從使用者請求一路追蹤到資料庫、訊息佇列及最終業務結果 |
| 限流與回流 | 大門重開之際,確認資料一致性並限流,防積壓洪水瞬間沖垮 |
金融機構不只要測試「拔掉一條線,看備援機開不開」,還要演練「當交易結果生死未知時該如何應對?」、當下游還在療傷時,上層如何優雅地限流?」,以及「服務恢復後如何確認帳務完整」。從基礎設施可用性走向業務韌性,複雜度豈止翻倍。
5. 架構韌性、金融監管與外包責任
架構圖呈現的是設計意圖;只有當真實故障發生時,或透過逼真而殘酷的「混沌演練」,才能驗證哪些防線不是紙糊的牌坊。多區部署、備援設備與服務等級協議(SLA)都是重要的防身盾牌,但任何一項都不能單獨證明系統是不壞金身,具有足夠的營運韌性。
風暴過後,歐洲金融監管機構向 Google Cloud 詢問狀況。英國國會財政委員會也公布英格蘭銀行(Bank of England)及金融行為監理總署(FCA)的相關函件。如今,監理機關在乎的,不是雲端大廠有沒有賠償那幾分錢的 SLA,而是這場地震如何撼動了各大銀行的根基,以及這些機構自身是否具備抗震、減震與迅速自癒的實力。
採用外部雲端服務,並不能就此將營運風險一併外包。供應商負責雲端平台的工程與維運;金融機構仍須掌握自身業務流程、資料一致性、復原優先順序與客戶影響,並確認供應商的復原能力符合自身的風險要求。
韌性評估是以業務服務為單位,而非看個別單一元件是否正常。看的是客戶能否完成付款、交易結果能否確認、帳務是否一致,以及服務恢復後能否安全地重新接收流量。
參考資料
- Google Cloud:Incident report
- Reuters,2026 年 10 月 21 日:European financial regulators query Google over cloud outage that hit banks
- UK Parliament, Treasury Committee:Google Cloud outage: Bank of England and FCA letter published