京東自建數據中心核心技術解密——基礎設施篇
京東第一個自建數據中心是位于宿遷的京東云華東數據中心，整體由4個模塊和1棟綜合大樓組成，總占地面積將近6萬平方米，總投資30億元。
可以提供20萬臺的服務器安裝和運營能力，存儲能力不小于32EB，計算能力不小于128千萬億次每秒。
作為京東的標桿項目之一，京東集團CTO張晨曾多次在業界大會上講到：“宿遷自建數據中心的綠色環保技術，貫穿整個生命周期。從最初的概念設計到施工建造，一直到投產后的運營管理，保證數據中心年均PUE≤1.3（實測），在華東地區達到領先水平。”
接下來我們將為大家揭秘京東自建數據中心的核心技術，通過《基礎設施篇》和《數據中心運營篇》，揭開它創新技術的神秘面紗。
制冷系統的技術創新
隨著數據中心需求和規模的不斷擴大，建設成本和運行成本不可避免的會成為企業的考量指標。數據中心不僅耗電量巨大，耗冷量也不可小覷。
據統計，數據中心空調系統的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機的能耗又占到空調系統總能耗的70%-90%。
降低空調制冷系統的能耗，將會是提高數據中心能源利用率最直接和有效的措施。因此，利用自然冷源來解決數據中心的散熱問題，成為京東自建數據中心創新技術的核心考量之一。
京東自建數據中心選址在江蘇宿遷地區，一年中大部分時間的溫度在-5~35℃之間，水資源豐富，屬于暖溫帶季風氣候區。年均氣溫14.2℃，四季分明，初霜期一般在10月下旬。
相對于嚴寒地區，室外設備被凍結故障的可能性較小，而利用的室外自然冷源的條件又比較充足。
為了充分利用冬季室外天然冷源進行自然冷卻，冷凍水系統設置了水-水不銹鋼板式換熱器，與冷水機組并聯。
系統中設計冷凍水供水溫度為10℃，實際運行中可以提高水溫，來提高系統運行整體效率并延長自然冷卻時間。
實際運行中，冷凍水系統在室外日平均溫度持續5天以上低于10度時，切換到自然冷卻系統使用，日平均溫度持續5天以上高于10度時，開始退出。全年基本可以分為免費制冷季和常規制冷季。
京東IDC建設部技術專家黃軼彪談到：“我們在傳統的Freecooling技術基礎上，增加了一套自主設計的氣候環境采集控制系統，我們叫“平滑的連續調整”的Freecooling技術。
利用這套技術，完全實現了制冷系統根據室內外環境溫度、濕度、系統負荷大小、平滑連續的調節各組件運行狀態，始終保持系統在最佳的效率區間。
而且全年可以“免費”使用自然冷源的時間高達180天以上，直接節約電費數百萬元以上。”
制冷系統是數據中心的重要組成部分，擔負著為數據中心提供可靠生產環境的任務。京東在宿遷的自建數據中心，采用三級壓縮式冷水機組，結合水泵，冷塔變頻控制帶來很好的節能效果。
制冷設備采用4臺水冷離心式冷水機組，3+1配備。壓縮機形式為三級離心式，三級壓縮具有轉速低、運行平穩、低負荷工況好的特點，加大了機組制冷量的調節范圍，同時，在三級壓縮的過程中設置兩級節能器，與不帶經濟器的冷水機組相比，相同制冷工況下節電量達到8-10%。
冷凍水系統的設計供回水溫度為10~16℃，主要設備采用N+1冗余配備，保證系統不會由于某一設備故障而受到影響。整個水系統管路采用環狀管路，設備之間設置雙閥門，保障系統可用性。
并配備有在線式蓄冷罐，可以無間斷的為系統提供15mins備用冷源。空調制冷系統的整體設計滿足并高于Uptime Tier Ⅲ級別的要求。
空調制冷系統由冷源系統、管路系統、末端空調系統和輔助系統等構成，數據中心專門設置有制冷機房。
在京東宿遷自建數據中心的一期模塊中，主機房內架空地板高度為1.2米。這種較高的架空層有利于空氣靜壓的形成，使通風地板的出口風速平穩。
同時也為地下保溫層和管線的維護提供了較大的空間。對于不同負荷的機柜，可調整通風地板的開孔面積分配冷量。機柜采用冷通道封閉的形式，使得空調送風冷卻效率更高。
每個機房模塊配有獨立的直膨式新風機組，室外新風經初效和中效過濾，并經冷卻處理后送入房間，保證機房正壓需求。
主機房、變配電室、電池室、UPS配電室等均采用水冷式精密空調，采用N+1配置方式。
精密空調全部采用“UPS+市電”雙路供電，UPS電源為主用，為避免大量空調同時啟動對電網造成沖擊，空調采取了延時策略。
京東IDC建設團隊對所選用的精密空調，采用了具備節能設計的產品，包括：
-
空調EC風機葉輪采用航空級新型工程復合材料，質量更輕，強度更高，也更加節能；
-
通過控制器根據實際冷負荷按比例設定送風量，滿足外部變化的冷負荷，降低風機消耗功率，進一步實現節能；
-
優化氣流通道，擴大回風過濾器面積，減小內部壓強，降低風機的功耗；
-
機組超大面積換熱器，將風機模塊安裝在架空地板下，更好的利用機組的內部空間；
精密空調內置電極式加濕器，具有水處理系統，自動檢測加濕罐中的雜質含量并清除，減少了氧化結垢現象。
高可靠性的技術保障
京東在宿遷的自建數據中心，核心目標之一是全力保證負荷用電的高可靠性。
服務器電源是整個數據中心供配電系統建設的重點，了解服務器電源的相關特性對于數據中心的供配電系統建設具有重要的意義。
充分了解服務器電源的容量、冗余方式、制冷要求和能效設計等主要指標對于數據中心供配電系統的設計是十分必要的。
服務器冗余電源系統最終都可以歸結到雙電源系統上，如果雙電源服務器的每一路電源都能通過獨立的供電路由從獨立的電源取電，就能夠獲得最高的可靠性。
建立京東專屬的110KV開關站成為達成高可靠性這一目標的絕佳途徑。110KV開關站緊鄰京東宿遷自建數據中心園區，其上一級來自兩個不同的220KV變電站專線。
在110KV開關站內設2臺變壓器，容量滿足整個數據中心園區的最大用電量。當兩臺變壓器任意一臺檢修或發生故障時，另一臺完全滿足園區內所有設備的正常用電需求。
京東數據中心自建變電站
機房內所有電子信息設備都采用UPS供電，其中兩個生產機房和兩個網絡機房電子的供電模式為2N，其余六個生產機房的供電模式則為N+1。
輔助設備電源采用“UPS+市電”的供電模式，單臺UPS后備蓄電池支撐時間不小于15分鐘。當一路市電電源故障時，故障回路負荷自動切換給另一回路承擔。
即使當兩路市電電源都發生故障，機房模塊內負荷由UPS蓄電池供電，同時備用柴油發電機組啟動，向機房模塊、空調冷源、照明等負荷供電。
如果市電發生斷電，數據中心的發電系統會自動投入運行，與市電自動切換。并在限定時間內，由發電機組啟動確保重要負載的緊急供電。
油罐儲油量在無外部支援情況下滿足發電機組大于12h帶載連續運行，并有緊急供油協議作為后繼可靠保障，任意一套油路系統PLC控制出現故障時，自動切換至另外一套PLC控制系統，保證系統供油的可靠性。當市電恢復，經過人工確認后，手動恢復市電供電。
京東在宿遷的自建數據中心，發電系統全部采用進口一線品牌的柴油發電機組設備，具有良好的啟動性能。配有發動機缸套水加熱裝置，可以保證在低溫時，系統的快速啟動和帶載能力。
機組可以承受負載突加75%的突發狀況，保證發電機組快速啟動后可以快速加載。對并機主控系統的冗余設計， 有效提高了并機系統的可靠性。發電機配置有防潮加熱器，防止因空氣濕度過高降低發電機絕緣性能而造成安全風險。
供儲油系統在每個數據中心模塊中獨立設置，物理隔離。每個模塊配置兩個25立方埋地柴油儲罐，每個柴油罐配置一用一備2臺供油泵，兩罐之間配置一臺倒油泵。儲罐區至機房日用油箱間輸油管路為雙環路設計，具備在線檢修及容錯能力。
在宿遷自建數據中心項目中，IDC建設團隊選擇采用了非晶合金變壓器，它既有普通干式變壓器阻燃自熄、防潮、耐裂的優良性能，又具有非常優異的導磁性能，去磁與被磁化的過程極易完成。
有利于降低損耗，增加有效載荷，提高效率。與普通干式變壓器技術參數相比較，空載損耗下降65%-70%，節能效果非常顯著。
京東在宿遷的自建數據中心，所有主機房都采用了分布式照明智能控制系統。人員進入機房時，系統會根據感應打開該部位的燈具，人員離開時燈具則按設定的延時時間自動關閉。無人員進入機房時燈具能滿足運維監控的最低亮度，達到節能與自動控制的目的。
實驗性技術創新—6sigma模擬仿真
京東IDC建設建設部負責人，首席技術專家張敬特別談到了在京東宿遷自建數據中心二期的建設中，IDC建設團隊引入的更多更前沿的實驗性項目，包括：“通過6sigma做CFD氣流仿真計算，了解IDC模塊內的氣流組織，溫度分布情況，根據服務器的不同負荷狀態，推算溫度升高變化。”
“通過建立數學模型推算和6sigma CFD系統的驗證，在確保服務器同等負荷狀態，以及滿負荷狀態，服務器的實際需求功耗不增加的前提下，逐步提高服務器的運行溫度，也就是數據中心模塊內的環境溫度。”張敬還談到：“于此同時，我們根據數學推算和CFD仿真驗證的結果，將會在二期的實驗模塊里引入一些更節能的冷卻技術。”
京東IT資源服務部負責人呂科認為：“數據中心行業是一個技術含量非常高的服務行業，它為企業大量的電子信息設備提供安全的場所、持續的電力、適宜的環境、穩定的網絡以及專業的運維服務。”
“這些表面看似簡單的條件，背后卻需要一個龐大復雜的綜合系統來支撐。京東在人工智能，無人機，云計算等前沿科技領域，不斷推出提升億萬用戶購物體驗的場景應用，正是基于我們持續技術創新的數據中心服務。”
“數據中心在安全性和可靠性方面的不斷提高，一直會為這些創新技術的落地推廣、上線應用、穩定運行保駕護航。”
