記得2008年初到 IBM，發(fā)生了汶川地震，IBM不僅組織員工捐錢捐物，還派出志愿者前往災(zāi)區(qū)協(xié)助救援。在工作中IBM志愿者發(fā)現(xiàn)當(dāng)時(shí)大量物資進(jìn)川，缺乏有效地IT系統(tǒng)對物資進(jìn)行管理，于是發(fā)揮技術(shù)優(yōu)勢，迅速幫助當(dāng)?shù)卣罱ê昧薎T平臺，大大提高了物資干里的效率。此外，通過中國的軟件研發(fā)團(tuán)隊(duì)，協(xié)同海外專家，以最快的速度在相關(guān)部門完成SAHANA系統(tǒng)的建制。值得一提的是，SAHANA項(xiàng)目是在2004年印度洋的海嘯發(fā)生之后，由 IBM 公司從多方進(jìn)行協(xié)助，最后由IBM志愿者組成的項(xiàng)目小組開發(fā)出來的，是專門針對人道援助和災(zāi)難恢復(fù)工作的先進(jìn)解決方案，當(dāng)時(shí)已經(jīng)成功地在多個(gè)類似的災(zāi)難中成功使用過。

也是在同年，IBM成立了企業(yè)全球志愿者服務(wù)隊(duì)，簡稱CSC，和 “捐款捐物”的公益活動有所不同，IBMCSC是一個(gè)特別的企業(yè)公益項(xiàng)目：服務(wù)隊(duì)成員來自不同的國家，具備不同的文化背景和技能，帶來全球的經(jīng)驗(yàn)；項(xiàng)目著眼于當(dāng)?shù)厣鐣l(fā)展大局，在經(jīng)濟(jì)、環(huán)境、健康、教育等領(lǐng)域?qū)ふ艺n題，無償提供商業(yè)領(lǐng)域的優(yōu)秀人才和技能。可以看到IBM的公益項(xiàng)目，從來不是簡單地捐錢捐物，而是通過自己百年積累的技術(shù)優(yōu)勢服務(wù)社會。

2019年開始,IBM組織了AI公益啟蒙季，旨在為青少年提供領(lǐng)先系統(tǒng)化的STEM興趣課程。我也有幸參與其中，為云南滄源小同學(xué)進(jìn)行了線上授課，講解了地球科學(xué)部分。雖然作為存儲技術(shù)售前，地球科學(xué)與存儲技術(shù)是理工類內(nèi)容，但是也算不小的跨界。當(dāng)時(shí)為了能給小同學(xué)講的更清晰、更生動，翻閱了很多科學(xué)科普讀物，比如：《時(shí)間的形狀》、《上帝擲骰子嗎》、《從一到無窮大》《槍炮、病菌與鋼鐵》等等，慢慢地也開始關(guān)心天文，人類學(xué)，量子理論。

另外，值得一提的是，疫情期間，AI啟蒙季的提供了Open P-TECH網(wǎng)絡(luò)平臺，提供免費(fèi)的線上課程，已經(jīng)有幾十萬的中小學(xué)生受益于這個(gè)項(xiàng)目，更為榮幸的是目前這個(gè)項(xiàng)目的系統(tǒng)維護(hù)就是由我所在部門的小伙伴負(fù)責(zé)的，而這個(gè)系統(tǒng)的背后采用了最新的容器云平臺Openshift構(gòu)建，底層存儲使用了支持容器原生存儲的 IBM SpectrumScale。

說到IBM Spectrum Scale， 它是針對云計(jì)算、大數(shù)據(jù)分析、對象等的高級非結(jié)構(gòu)化數(shù)據(jù)存儲管理解決方案。 Spectrum Scale 可為所有這些數(shù)據(jù)提供全局命名空間，并提供統(tǒng)一管理。然后，數(shù)據(jù)可在不同類別的存儲中進(jìn)行分層，并可在全球范圍內(nèi)進(jìn)行訪問，確保始終可以在正確的時(shí)間在正確的位置提供數(shù)據(jù)。Spectrum Scale 基于IBM General Parallel FileSystem (GPFS) 而設(shè)計(jì)，可降低高達(dá)90% 的存儲成本，同時(shí)還可為云、大數(shù)據(jù)和分析以及高性能計(jì)算數(shù)據(jù)提供世界級的可靠性、可擴(kuò)展性和可用性，從而輕松應(yīng)對數(shù)據(jù)增長。最近IBM發(fā)布的ESS3500產(chǎn)品，正是基于Spectrum Scale 的硬件一體機(jī)產(chǎn)品。

簡單來說，Spectrum Scale的三大特點(diǎn)：一是加速性能，二是簡化多云管理，三是降低成本。這里我們介紹三個(gè)對應(yīng)的案例故事。

第一個(gè)是加速科學(xué)計(jì)算的故事。由于我之前參與了AI啟蒙季《地球科學(xué)》部分，所以一直比較關(guān)心天文界的相關(guān)信息，前幾天我看到科學(xué)家公布了一張銀河系人馬座的黑洞的照片，這張照片實(shí)際是5年前由分布在全球的8臺射電望遠(yuǎn)鏡拍攝的，那為什么這張照片“沖洗”了5年之久，主要是數(shù)據(jù)量巨大，8臺望遠(yuǎn)鏡采集了將近8PB的數(shù)據(jù)，然后由美國和德國大學(xué)的HPC服務(wù)器進(jìn)行計(jì)算，這一算就是5年。可見硬件性能對科學(xué)計(jì)算的作用是相當(dāng)關(guān)鍵的。

類似科學(xué)研究的案例，是復(fù)旦大學(xué)的冷凍電鏡項(xiàng)目，它借助IBM ESS產(chǎn)品加速了生命科學(xué)研究的進(jìn)程。冷凍電鏡是結(jié)構(gòu)生物學(xué)的分支學(xué)科，是將生物大分子在毫秒時(shí)間尺度內(nèi)快速冷凍在玻璃態(tài)的冰中，應(yīng)用低溫透射電子顯微鏡收集生物大分子的二維投影，并利用三維重構(gòu)的方法得到大分子三維精細(xì)結(jié)構(gòu)的生物物理學(xué)技術(shù)。其應(yīng)用會產(chǎn)生大量的二維圖像數(shù)據(jù)，需要通過高性能的集群設(shè)備對這些數(shù)據(jù)進(jìn)行分析處理才能夠變成可用的大分子三維結(jié)構(gòu)的數(shù)據(jù)。之所以選擇IBM ESS的解決方案，主要是因?yàn)?/p>

首先，IBM ESS 聚合帶寬整體的 IO 可以達(dá)到上百個(gè) GB, 本身就能滿足冷凍電鏡項(xiàng)目并發(fā)的高吞吐量的讀寫要求。

第二，ESS 接口協(xié)議很豐富，用戶可以在不同的操作系統(tǒng)上、不同的體系上、不同的設(shè)備上掛載一個(gè)存儲池，方便管理和運(yùn)維。

第三， ESS 本身有比較強(qiáng)的橫向擴(kuò)展的能力。ESS 大容量、靈活擴(kuò)展和部署的屬性更符合于冷凍電鏡項(xiàng)目的需求。

第四，該項(xiàng)目還有更大量的數(shù)據(jù)長期保存和轉(zhuǎn)儲的需求，ESS可以方便的把一些冷數(shù)據(jù)保存到磁帶上, 滿足長期數(shù)據(jù)保護(hù)，同時(shí)降低歸檔成本。

另一個(gè)故事是幫助AI自動駕駛領(lǐng)域的獨(dú)角獸企業(yè)，簡化他們的數(shù)據(jù)管理。地平線是一家 AI 領(lǐng)域的獨(dú)角獸公司，面向智能駕駛以及 AIoT 領(lǐng)域提供全面開放的賦能服務(wù)，在 AI 芯片和算法方面獨(dú)樹一幟。地平線在 AI 模型訓(xùn)練中所累積的數(shù)據(jù)量超過數(shù)十PB，并且以每年以若干PB 的增量繼續(xù)高速增長，這些數(shù)據(jù)分散在多中心、多云環(huán)境里。起初，地平線使用基于開源GlusterFS、Ceph、以及 HDFS 所構(gòu)建的數(shù)據(jù)存儲基礎(chǔ)架構(gòu)，面臨著豎井林立，存取性能下降，數(shù)據(jù)調(diào)度困難，管理復(fù)雜、數(shù)據(jù)存放成本高等難題，因此亟需改造和升級，以滿足業(yè)務(wù)發(fā)展的要求。基于 IBM Spectrum Scale，地平線構(gòu)建了高性能海量數(shù)據(jù)分布式存儲架構(gòu)，統(tǒng)一數(shù)據(jù)平臺，消除豎井，更好地利用資源，讓業(yè)務(wù)迭代更加快速。具體而言：

第一 統(tǒng)一數(shù)據(jù)平臺，提升開發(fā)效率。利用 IBM Spectrum Scale 在多云之間形成統(tǒng)一的全局命名空間，將不同數(shù)據(jù)訪問接口的數(shù)據(jù)方便地接入進(jìn)來統(tǒng)一管理，消除豎井，實(shí)現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。

第二 數(shù)據(jù)隨需調(diào)度，快速響應(yīng)需求。Spectrum Scale 讓數(shù)據(jù)得以統(tǒng)一調(diào)度，數(shù)據(jù)可以自動透明地在多云間自由流動，大大節(jié)省了人工成本、降低了誤操作的風(fēng)險(xiǎn)，訪問速度達(dá)到毫秒級，加速訓(xùn)練任務(wù)日程。

第三 運(yùn)維自動完成，提升數(shù)據(jù)安全。Spectrum Scale 自帶管理功能，提供簡單易用的圖形界面、操作簡便，原有的很多需要人工干預(yù)的操作變?yōu)樽詣油瓿桑诮档凸芾黼y度的同時(shí)，提升了數(shù)據(jù)安全性。

最后 數(shù)據(jù)自動分層，降低存儲成本。依托 IBM Spectrum Scale 統(tǒng)一管理磁盤和磁帶，實(shí)現(xiàn)多樣的擴(kuò)容方式和數(shù)據(jù)自動分層，把冷數(shù)據(jù)如訪問量不高的大文件自動地歸檔到磁帶系統(tǒng)中，形成低成本的長期存儲池，且磁帶數(shù)據(jù)實(shí)時(shí)隨機(jī)讀取，冷數(shù)據(jù)存儲降低了大約 80% 的成本，同時(shí)滿足合規(guī)需求。

最后一個(gè)故事是為頭部的互聯(lián)網(wǎng)企業(yè)降低成本。百度是國內(nèi)一家著名的互聯(lián)網(wǎng)高科技企業(yè)，提供百度搜索等諸多服務(wù)。作為全球領(lǐng)先的AI公司，百度擁有大量的數(shù)據(jù)，有的來自百度智能云的對象數(shù)據(jù)，有的來自搜索，還有的來自自動駕駛等。這些數(shù)據(jù)大都是非結(jié)構(gòu)化數(shù)據(jù)，有些數(shù)據(jù)已經(jīng)被加工使用過，數(shù)據(jù)的價(jià)值密度不高，如何安全存儲這些低價(jià)值的海量數(shù)據(jù)，降低數(shù)據(jù)存儲的成本，是百度面臨的一個(gè)挑戰(zhàn)。百度智能云冷數(shù)據(jù)存儲項(xiàng)目為百度提供分布式磁帶數(shù)據(jù)湖、YB級存儲容量、數(shù)據(jù)分層存儲的能力。 項(xiàng)目無縫對接百度現(xiàn)有框架，統(tǒng)一上層應(yīng)用數(shù)據(jù)訪問接口，對內(nèi)滿足百度搜索、無人車等部門的需求，對外滿足客戶在大數(shù)據(jù)、物聯(lián)網(wǎng)、智能家居、石油勘探等場景下的需求。該項(xiàng)目的價(jià)值主要包括：

第一，它提供了超大的EB級數(shù)據(jù)規(guī)模，并且規(guī)模還在以每年10萬盤磁帶的速度增長

第二，是提供了便捷高速安全的海量數(shù)據(jù)湖，通過IBM的軟件定義磁帶技術(shù)，可以統(tǒng)一的為前端不同業(yè)務(wù)提供各種存儲訪問接口，簡化了使用；并結(jié)合高性能閃存、磁盤和磁帶實(shí)現(xiàn)透明的數(shù)據(jù)分層存儲，提高了數(shù)據(jù)訪問性能；結(jié)合磁帶天然的空氣隔離技術(shù)，有效的隔離了黑客入侵。

第三，為企業(yè)節(jié)能減排，整個(gè)數(shù)據(jù)中心功耗減低90%，存儲成本降低84%

此外，三個(gè)故事中除了為企業(yè)解決了各種挑戰(zhàn)，都無一例外的都為他們降低了成本和碳排放。“科技向善”一直是IBM的價(jià)值觀和奉行的原則之一。疫情爆發(fā)以來，IBM 開放資源、攜手同盟并部署新興技術(shù)，致力于遏制新冠病毒的傳播。這包括免費(fèi)開放 8萬項(xiàng)專利、貢獻(xiàn) IBM Summit 全球最強(qiáng)超級計(jì)算機(jī)、通過“代碼集結(jié)號”尋找最優(yōu)解決方案、發(fā)起“全球網(wǎng)格大同盟”倡議等9項(xiàng)實(shí)質(zhì)行動。而IBM Summit背后存儲正式基于ESS和Spectrum Scale的強(qiáng)大支持

科技向善，IBM 愿用有溫度的科技力成為你最堅(jiān)實(shí)的后盾，走過艱難的今天，迎來美好的明天！