基因技術(shù)的發(fā)展正在使人類在消病延年的路上不斷向前。例如通過檢測腫瘤基因特征片段提早預防癌癥,對孕婦進行無創(chuàng)傷的產(chǎn)前先天遺傳缺陷檢測等,因此基因檢測技術(shù)被比作破解生命密碼的終極鑰匙。

基因測序最主要的下游應(yīng)用是臨床檢測和科研服務(wù),是精準醫(yī)療的重要落腳點。針對發(fā)病原因復雜的疾病,基因測序可以實現(xiàn)對個人的基因組分析,提供個性化診斷,在精準度和信息密度上遠超其他診斷方式。隨著基因測序技術(shù)發(fā)展至第三代,市場規(guī)模不斷擴大,進入高速發(fā)展期。

[[346542]]

為提升基因測序任務(wù)的速度,向更多客戶提供更高效的服務(wù),提供該項服務(wù)的企業(yè)需要部署多套基因測序平臺和高性能計算平臺,來支撐海量下機數(shù)據(jù)的分析和存儲。這就面臨一個亟待解決的現(xiàn)實問題,在基因測序成本降低、測序樣本數(shù)量快速增大的前提下,基因測序行業(yè)特定需求對存儲系統(tǒng)和算力都提出了挑戰(zhàn):

數(shù)據(jù)容量巨大

基因測序過程中產(chǎn)生的PB級海量文件數(shù)據(jù),對業(yè)務(wù)的分析非常重要,需要長時間保留。存儲過程涉及到擴容、數(shù)據(jù)安全等問題。

性能瓶頸

基因測序往往采用多機集群計算,高通量并發(fā)訪問對存儲的帶寬和IO都有極高的要求,如果無法滿足,就會大大降低測序的效率,延長測序時間。

多樣性計算框架與服務(wù)挑戰(zhàn)

測序數(shù)據(jù)產(chǎn)出量很大,需要結(jié)合高性能計算技術(shù)來進行后續(xù)的測序數(shù)據(jù)處理。通常的高性能計算平臺來處理測序數(shù)據(jù)時,都面臨規(guī)模和效率問題。

為滿足客戶差異化需求,提供基因測序的企業(yè)一般會選擇建立多個實驗室和實驗基地,并運行多種測序平臺。這類多客戶端并發(fā)高通量測序?qū)Ａ繑?shù)據(jù)的高性能存儲、高性能計算以及數(shù)據(jù)的全天候在線提出了嚴苛要求。極道智能數(shù)據(jù)系統(tǒng)中的分布式存儲系統(tǒng)和ABC融合計算系統(tǒng)兩大組件,在基因測序行業(yè)多個客戶業(yè)務(wù)中保持著長期穩(wěn)定運行。

破解生命科學密碼的“超存”問題

針對基因測序特定的數(shù)據(jù)特征,面向大容量、高帶寬應(yīng)用的極道ALAMO文件存儲系統(tǒng)采用分布式架構(gòu),性能與容量隨物理節(jié)點擴展可實現(xiàn)線性增長,輕松擴展至上百節(jié)點,達到PB甚至EB級容量,適合測序過程中的高通量和高性能計算的文件應(yīng)用。同時,ALAMO提供的高帶寬數(shù)據(jù)并行處理能力,實現(xiàn)了數(shù)據(jù)存儲與調(diào)用的快速讀入、寫出和傳輸。

用戶反饋:“極道ALAMO文件存儲系統(tǒng)輕松滿足多個客戶端的并發(fā)訪問需求,在長期的使用過程中,即使在承載大量測序客戶端并發(fā)訪問時,ALAMO的帶寬和讀寫性能也有極致的表現(xiàn),沒有絲毫衰減。”

在保證數(shù)據(jù)安全可靠性方面,極道存儲系統(tǒng)中的每個文件都可跨多個硬盤組,通過編碼保護。為了降低核心元數(shù)據(jù)丟失的可能性,極道在存儲池不同的位置存儲三份關(guān)鍵元數(shù)據(jù)互為備份。實踐證明,極道ALAMO在客戶數(shù)據(jù)中心連續(xù)在線的60+月中,實現(xiàn)了零數(shù)據(jù)丟失。

融合計算系統(tǒng)為基因測序加速

在基因測序計算中,多樣性計算框架和服務(wù)無法同時被調(diào)度進行并行計算,作業(yè)超長延時難以匹端業(yè)務(wù)需求。為打破計算瓶頸,企業(yè)需要建立具有良好可擴展性的計算平臺,滿足業(yè)務(wù)對時間的嚴苛要求,同時減低部署和管理難度。

利用極道ABC融合計算系統(tǒng),從根本上能夠解決多樣性計算框架融合問題。該系統(tǒng)由一個主集群和多個從集群組成一個調(diào)度空間,分布式的計算環(huán)境讓多調(diào)度器之間相互協(xié)作,突破了集群規(guī)模瓶頸。

ABC融合計算系統(tǒng)支持高強度計算分析的多種計算框架,可以按需動態(tài)構(gòu)建計算框架,智能調(diào)度各種類型的數(shù)據(jù)計算、處理和分析任務(wù)。內(nèi)嵌的執(zhí)行引擎根據(jù)用戶定義的數(shù)據(jù)依賴關(guān)系將分析工具連接組織生成數(shù)據(jù)流,使各節(jié)點之間根據(jù)依賴關(guān)系完成多路并行計算或順序計算。將基因測序平臺分析軟件搭載在極道數(shù)據(jù)操作系統(tǒng)上,可使業(yè)務(wù)與計算資源完美結(jié)合,有效縮短計算和調(diào)度時間,最大程度提升業(yè)務(wù)分析效率。

ABC融合計算系統(tǒng)統(tǒng)一的資源池、融合多計算框架和可視化構(gòu)建數(shù)據(jù)流等特性,不但保證了算力,而且還可以利用調(diào)優(yōu)來不斷釋放系統(tǒng)的計算潛力。幫助基因測序行業(yè)客戶實現(xiàn)計算資源的按需調(diào)度,自動化構(gòu)建工作流程,使復雜工作更加簡單化、智能化,這正是極道智能數(shù)據(jù)系統(tǒng)的價值所在。

值得一提的是,極道ALAMO分布式存儲系統(tǒng)和ABC融合計算平臺,通過極道獨有的存儲和計算的一體化協(xié)同設(shè)計,計算系統(tǒng)可以動態(tài)感知應(yīng)用IO類型,根據(jù)數(shù)據(jù)流動態(tài)調(diào)節(jié)每一個節(jié)點所需的計算框架、分配計算資源,讓每一階段計算都極速高效。存儲也可以預判任務(wù)的IO模型,以做出策略選擇和定向優(yōu)化,提供盡可能高的存儲效率和并行能力,為基因測序平臺提供了高效、穩(wěn)定、可靠的支撐。

極道智能數(shù)據(jù)系統(tǒng)的高靈活和可擴展性滿足了基因測序行業(yè)客戶不斷增長的業(yè)務(wù)需求,并且做到了計算資源和數(shù)據(jù)資源的完全透明無縫擴展,從而解決客戶的數(shù)據(jù)存儲、數(shù)據(jù)分析和歸檔備份等問題,讓客戶更多的關(guān)注業(yè)務(wù)能力,發(fā)揮數(shù)據(jù)的價值,更好地通過基因測序服務(wù)社會,以技術(shù)驅(qū)動“精準醫(yī)療”的發(fā)展。