雲端折翼:Google Cloud 倫敦區域當機事件

By 編輯部 , 26 October 2026

1. 獨木既傾,千里連環

2026 年 10 月 20 日,Google Cloud 倫敦區域(europe-west2)發生重大服務中斷。風暴起於單一可用區的供電問題,卻沿著內部脈絡,跨越原本劃定的安全邊界,引發多項雲端服務的連鎖潰敗。

Google 的事故報告指出,英國夏令時間(BST)07:00 左右開始發生問題;至 13:10,超過 99% 的 Compute Engine 虛擬機器已恢復正常,事故於 15:03 宣告結束。這段時間的服務復原,除了重啟主機,還涉及基礎設施、容量調度與上層服務逐步恢復。

時間(BST)紀要
07:00風暴初起,供電問題影響倫敦區域內的部分基礎設施
事故期間多項雲端服務兵敗如山倒,核心工作負載癱瘓
12:29Google 進行基礎設施復原與服務路由調整
12:46復原工作持續推進,服務陸續甦醒
13:10超過 99% 的 Compute Engine 虛擬機器重返正常
15:03Google 宣告風暴平息

受波及骨幹服務包括 Compute Engine、Google Kubernetes Engine(GKE)、Cloud SQL、Cloud Storage、Persistent Disk、Pub/Sub 與 Memorystore。雲端服務即使分布在不同可用區,仍可能因共用的控制流程、服務關聯或容量限制,導致局部的破綻,誘發整片生態的「骨牌效應」。

2. 故障原爆點:備援供電在關鍵時刻撒手

危機的源頭是供電異常。市電中斷後,UPS(不斷電系統)以內力續命;然而,備用發電機卻未即刻接手。負責自動切換程序的主要與備援 PLC(可程式邏輯控制器)竟雙雙失能。UPS 電池旋即耗盡,europe-west2-b 可用區內的實體主機、關隘及本地儲存陸續離線,陷入一片死寂。

設備有備援,不代表功能就有備援。雙控制器若受相同的操作流程、狀態制約或其他共同環境因素影響,表面上的雙重配置,終究難逃共同模式故障(common-mode failure)。

對金融機構而言,備援設計不只要確認「有第二套設備」,還必須驗證故障發生時,接手程序能否在限定時間內完成,且不受原系統故障牽連。

3. 連鎖潰敗:局部骨折,何以演變成經脈盡斷?

架構設計中,劃分「可用區」的本意如同建造船艙的防火牆,旨在將災情孤立於局部。然而,一個活生生的系統,從控制平面、中介層,到資料庫與工作負載之間,滿是錯綜複雜的內力迴路。當某個可用區徹底失聯,其餘各區縱使毫髮無損,也可能因跨區經脈受阻而陷入癱瘓,服務不見得能維持正常。

B 區故障後,區域控制平面與部分中繼資料、目錄類元件之間的跨區 RPC(遠端程序呼叫)出現逾時。這些呼叫如同石沉大海,導致工作負載管理與日常操作全面脫軌。與此同時,工作負載重新調度、資料庫故障切換及查詢執行等需求,將如潮水般湧向倖存的可用區,使剩餘的容量承受極限壓迫。

當請求的洪流淹沒了殘存的資源,或者失敗的呼叫因缺乏克制而陷入瘋狂的重試性,系統便會墮入萬劫不復的惡性循環深淵:佇列嚴重淤積、資料庫換手延滯、回應時間無限拉長,最終只能拋出 HTTP 500 或 503 的白旗。

故障階段連鎖效應
可用區斷電離線原本在B區執行的主機、網路或儲存服務停止運作
跨區RPC逾時控制平面與相關服務無法取得必要資訊完成操作
工作負載重新調度其他可用區承接額外需求,資源與資料庫負載上升
重試與佇列堆積失敗請求再次進入系統,進一步消耗資源
上層服務崩潰用戶端收到逾時或 500、503 等錯誤,業務中斷

分散部署,不等於各自獨立。只要服務之間還留有跨區呼叫的臍帶、共用同一個大腦(控制元件),或在容量上互有牽連,局部的傷口就會撕裂原本預設的安全邊界。

4. 復原與金融業務:VM 恢復,不代表交易恢復

復原工作並非只要恢復供電、重新啟動虛擬機器即可。Google 必須隔離故障區、調整工作負載排程與可用容量、恢復供電、重設並測試發電機控制器,再逐步啟動基礎設施。重新開門迎客(接收流量)之前,還必須逐一盤點主機的健康狀態與儲存完好度。

基礎設施的狀態健康,無法等於業務服務已經恢復。虛擬機器已能運作,但下層的資料庫可能還在狼狽地切換,佇列仍未清空,上層應用程式依舊完成端到端流程。

金融系統在面對「交易逾時」時,更面臨著「終局未定」的凶險:逾時不代表失敗,它只是一場沉默。 資金可能早已落入對方的帳戶,只是回傳捷報的信使死在半路。若應用程式誤將所有的沉默都視為失敗,盲目發動重試,便會帶來重複扣款、重複下單、帳務不一的災難。

應檢視的控制措施:

控制項目確認能力
可用區隔離單一可用區失效時,避免故障持續牽動其他區域
殘存容量剩餘可用區是否有足夠資源承接工作負載
重試與退避重試上限、退避策略、流量管制及佇列處理;避免混亂中被自己的重試狂潮踐踏致死
交易冪等使用唯一請求識別碼、冪等處理、交易狀態查詢與事後對帳
端到端監控能否從使用者請求一路追蹤到資料庫、訊息佇列及最終業務結果
限流與回流大門重開之際,確認資料一致性並限流,防積壓洪水瞬間沖垮

金融機構不只要測試「拔掉一條線,看備援機開不開」,還要演練「當交易結果生死未知時該如何應對?」、當下游還在療傷時,上層如何優雅地限流?」,以及「服務恢復後如何確認帳務完整」。從基礎設施可用性走向業務韌性,複雜度豈止翻倍。

5. 架構韌性、金融監管與外包責任

架構圖呈現的是設計意圖;只有當真實故障發生時,或透過逼真而殘酷的「混沌演練」,才能驗證哪些防線不是紙糊的牌坊。多區部署、備援設備與服務等級協議(SLA)都是重要的防身盾牌,但任何一項都不能單獨證明系統是不壞金身,具有足夠的營運韌性。

風暴過後,歐洲金融監管機構向 Google Cloud 詢問狀況。英國國會財政委員會也公布英格蘭銀行(Bank of England)及金融行為監理總署(FCA)的相關函件。如今,監理機關在乎的,不是雲端大廠有沒有賠償那幾分錢的 SLA,而是這場地震如何撼動了各大銀行的根基,以及這些機構自身是否具備抗震、減震與迅速自癒的實力。

採用外部雲端服務,並不能就此將營運風險一併外包。供應商負責雲端平台的工程與維運;金融機構仍須掌握自身業務流程、資料一致性、復原優先順序與客戶影響,並確認供應商的復原能力符合自身的風險要求。

韌性評估是以業務服務為單位,而非看個別單一元件是否正常。看的是客戶能否完成付款、交易結果能否確認、帳務是否一致,以及服務恢復後能否安全地重新接收流量。

高可用性,是架構上的美好願景。營運韌性,唯有在世界崩塌時,看你如何挺直脊樑。
 

參考資料

  1. Google Cloud:Incident report
  2. Reuters,2026 年 10 月 21 日:European financial regulators query Google over cloud outage that hit banks
  3. UK Parliament, Treasury Committee:Google Cloud outage: Bank of England and FCA letter published
消息類別