一、故障回顧    

    2023年過去了，2023年是一個非常艱難的一年，各大互聯網故障不斷，裁員不斷；跟大家分享一下2023年的各個公司的故障回顧。

圖片

1 3月29日 唯品會

故障描述：2023-03-29 00:14～12:01 唯品會329機房宕機12小時P0級故障，業績損失超億元，影響客戶800多萬   

故障原因：南沙機房重大故障的主要原因是南沙 IDC 冷凍系統故障導致機房設備溫度快速升高宕機，造成線上商城停止服務。   

故障影響：持續 12 個小時，由于崩潰時間太長，影響了很多消費者無法正常下單，導致公司業績損失超億元，影響客戶達 800 多萬，公司將此次故障判定為 P0 級故障。與此同時，唯品會認為此次事故暴露出容災應急預案和風險防范措施不到位，并決定對此次事件嚴肅處理。對基礎平臺部負責人做了免職處理。

圖片

2 3月29日  騰訊廣州機房故障14+小時

故障描述：00:23～15:00 騰訊廣州機房故障14+小時 因制冷系統故障，容災處置中。

故障原因：本次事故由廣州電信機房冷卻系統故障導致，騰訊將其定義為公司一級事故。為此，騰訊對相關部門和領導進行了嚴肅的問責和處罰，其中包含公司高級執行副總裁、TEG（技術工程事業群）總裁盧山（LS）和 WXG（微信事業群）副總裁周顥（harveyzhou）在內的管理者承擔領導責任，被予以通報批評。盧山目前為騰訊總辦（騰訊總經理辦公室，為公司最高決策機構）成員。此外，TEG 華南數據中心的兩位總經理和總監被處以降級和免職處罰，WXG 技術架構部的兩位總監和組長當期績效考核給予 Underperform 等評級（二星級別，最高為五星）。騰訊管理層認為，這次故障暴露了公司在容災設計和應急預案方面存在的不足，有關業務部門的風險防范意識不到位。

制冷系統包括了凍水系統和蓄冷系統；利用蓄冷+電力的差價進行削峰填谷；但是因為控制失誤導致了故障。

3 6月8日 廣東電信故障

圖片

6月8日晚間，廣東省通信管理局緊急召集廣東電信、廣東移動、廣東聯通廣東廣電、廣東鐵塔相關負責人就廣東電信突發網絡故障及應急處理情況召開網絡運行安全緊急調度會。廣東省通信管理局黨組書記、局長蔡立志要求廣東電信深入查明原因，做好后續處置，加強網絡運行保障。    

廣東電信網絡罕見地出現了5小時的大面積斷網事件，引發社會各界的關注。此次故障的原因目前尚未得到官方的解釋，但是從獨立電信分析師付亮的看法來看，應該是廣東電信核心網某個關鍵模塊出現了故障。此次事件對億萬用戶的生產和生活都帶來了嚴重影響，同時也必須引起政府和電信企業等相關方面的重視。為此，應加強電信網絡的基礎設施建設和安全防護，確保人們的網絡使用暢通無阻，避免重大電信網絡故障的再次發生。

4 7月6日 boss直聘故障 

7月6日上午，BOSS直聘APP出現短時間服務異常，經過團隊搶修已恢復正常。期間為用戶帶來的不便我們深表歉意。我們將持續優化服務保障。感謝大家一直以來的關注與支持。

圖片

5 7月26日 小紅書iOS版APP大規模閃退

圖片

7月27日凌晨，社交應用小紅書的iOS版本出現大規模閃退問題，用戶反映卸載重裝也無法解決。對此，小紅書客服在微博上回應稱，這是由于技術故障引起的。他們建議用戶遇到無法啟動的情況時，可以前往App Store下載最新版本（版本號7.97.2）。部分網友表示，更新后應用可以正常使用。  

故障原因：客戶端重大缺陷 + 處置不合理引發新的崩潰：線上存在部分業務Crash，只能卸載重裝或升級App版本解決。

6 10月23日  語雀故障 

語雀在故障公告中稱，10月23日下午，服務語雀的數據存儲運維團隊在進行升級操作時，由于新的運維升級工具bug，導致華東地區生產環境存儲服務器被誤下線。受其影響，語雀數據服務發生嚴重故障，造成大面積的服務中斷。為了盡快恢復服務，語雀和數據存儲運維團隊全力進行數據恢復工作，但受限于恢復方案、數據量級等因素，整體用時較長。

針對所有受到上述故障影響的用戶，語雀作出了賠償方案：對個人用戶贈送6個月的會員服務；對空間用戶會單獨制定賠償方案。

除此之外，語雀還披露了改進措施。具體為：升級硬件版本和機型，實現離線后的快速上線。該措施在本次故障修復中已完成；運維團隊加強運維工具的質量保障與測試，杜絕此類運維護bug再次發生；縮小運維動作灰度范圍，增加灰度時間，提前發現bug；從架構和高可用層面改進服務，為語雀增加存儲系統的異地災備。

圖片

7  11月12日 阿里云故障

2023 年 11 月 12 日 17:39 起，阿里云云產品控制臺訪問及管控 API 調用出現異常、部分云產品服務訪問異常，工程師排查故障原因與訪問密鑰服務 (AK) 異常有關。工程師修訂白名單版本后，采取分批重啟 AK 服務的措施，于 18:35 開始陸續恢復，19:20 絕大部分 Region 產品控制臺和管控 API 恢復。

圖片

https://help.aliyun.com/noticelist/articleid/1064981333.html

原因：訪問密鑰服務 (AK）在讀取白名單數據時出現讀取異常，因處理讀取異常的代碼存在邏輯缺陷，生成了一份不完整白名單，導致不在此白名單中的有效請求失敗，影響云產品控制臺及管控 API 服務出現異常，同時部分依賴 AK 服務的產品因不完整的白名單出現部分服務運行異常。

改進措施：

1、增加 AK 服務白名單生成結果的校驗及告警攔截能力。

2、增加 AK 服務白名單更新的灰度驗證邏輯，提前發現異常。

3、增加 AK 服務白名單的快速恢復能力。

4、加強云產品側的聯動恢復能力。

8 11月27日 滴滴故障

事件回顧：11月27日晚，滴滴出行對當天晚間滴滴App服務出現異常進行了回復，滴滴出行稱，由于系統故障，今天晚間滴滴App服務出現異常，經技術緊急修復，目前正陸續恢復中。截至27日晚23時28分，經多人測試，該狀況尚未恢復。    

故障原因：更新的 kubernetes master 組件版本與預期的版本不一致，導致一個大集群中的容器全部宕機，兩個版本分別為 v1.12 和 v1.20。滴滴彈性云內部的 kubernetes 版本升級在兩個月以前就已經在所有機房升級完成，整個升級過程中0故障且業務無感知。kubernetes v1.20版本已經在滴滴彈性云中穩定運行了幾個月。因此此次故障猜測是由于誤操作導致 kubernetes master 組件由 v1.20 回退至 v1.12 導致。

圖片

9 12月3日 騰訊視頻故障

12月3日，大量騰訊用戶在社交平臺反映，購買的騰訊視頻會員出現問題，本來可以看的VIP視頻，提示需要開通會員

目前騰訊視頻出現了短暫技術問題，我們正在加緊修復，各項功能在逐步恢復中。感謝您的耐心等待，由此給您帶來的不便我們深感歉意。

圖片

有網友反饋：卸載重裝也不管用，重啟也不管用。

圖片

故障原因分析

    騰訊這次故障從反饋來看，影響最大的應該是vip用戶看不了會員視頻，因為很多用戶開始重裝APP，但還是不行；應該可以判斷是服務端的問題。

    另外vip用戶很多服務都看不了，端上識別不出來是vip用戶，從這次故障來看應該是會員賬號體系出現了。

10 12月19日 喜馬拉雅故障 

圖片

12月19日，“喜馬拉雅崩了”登上微博熱搜，有網友反映喜馬拉雅App出現崩潰狀況，無法正常使用或聆聽節目。

隨后，喜馬拉雅官博發文致歉，稱問題目前已緊急修復，不會影響用戶的會員等權益，同時將抽獎送出5張喜馬VIP月卡作為補償。

二 原因分類

• 客戶端故障：小紅書
• 業務服務故障：騰訊視頻、語雀
• 基礎服務：阿里云
• 基礎平臺：滴滴
• 基礎設施：騰訊、唯品會

圖片

• 越是底層的故障，影響越大
• 越是影響大的故障，往往越簡單

三 2023年關鍵字

開猿節流：滴滴的故障

    2023年是一個比較艱難的一年，大部分公司其實還在裁員

    增長、成本、穩定性其實一直就是一個公司不斷的發展階段面臨的問題；在整體經濟無法快速復蘇的時候，裁員就成了主流但裁員帶來的問題也是必然的 裁員帶來的后果就是熟悉系統的人走了，留下來的對系統的各種預案不熟悉；故障的頻率大大增加

    滴滴的故障可以看出來，熟悉的人都走了，留下來的對各種預案不熟悉，所以增加了故障的時間和影響面。

降本增效：騰訊&&唯品會

    熟悉的人都走了，寫ppt的人留下了；現在是一個非常卷的時代，因為增長點沒有了，很多人就開始瘋狂內卷，卷什么呢？卷ppt。越是重大故障其實越簡單，越簡單的事情越難晉升。越是花哨的東西越沒用，越沒用的東西越好晉升，就陷入到這個無限死循環中。

    其實在騰訊和唯品會的故障中，出發點是好的都是為了降低成本所以采用了。南沙這次故障其實本意出發點是好的。制冷系統包括了凍水系統和蓄冷系統；利用蓄冷+電力的差價進行削峰填谷；但是因為控制失誤導致了故障。

四 故障經驗

大道至簡：越是重大的故障其實越是簡單；越是簡單的手段其實越有效。

華為云的干冰預案，華為云有好幾次來冷卻系統出問題的時候依然能保障機房的問題，這里有一個非常非常重要的預案就是干冰，機房儲備了大量的干冰來保障。方案很簡單單就是有效。

至簡難收： 簡單的事情往往有很難得到職級和薪資待遇的提升。

這里我們可以各種公司的各種ppt各種花哨。但實際上有多少效果不得而知。

是騾子是馬，拿出來溜溜；技術優越感到頭來忽悠的只是自己。前10年百度以技術號稱，百度掉隊了現在阿里以技術號稱，阿里開始退縮了滴滴、小紅書、騰訊；每個公司都在盡力輸出自己的技術優越性，無疑不命中了故障自己講多自己就信了，不要在輸出技術優越感了，因為輸出的越多，迷惑的只能是自己，做了4分，輸出10分，到底行不行只有試過才知。