Anakin主要由獨(dú)立的Parser、靈活的Framework和高效的Saber計(jì)算庫(kù)三部分組成。獨(dú)立的Parser實(shí)現(xiàn)了將不同訓(xùn)練框架生成的model轉(zhuǎn)換為Anakin計(jì)算圖的解析功能,它支持任何訓(xùn)練框架生成的model解析,歐洲服務(wù)器租用 云服務(wù)器,屏蔽了不同訓(xùn)練框架的差異。靈活的Framework屏蔽了底層硬件的差異,用于實(shí)現(xiàn)與硬件無(wú)關(guān)的所有操作,如網(wǎng)絡(luò)構(gòu)建、圖融合、資源復(fù)用、計(jì)算調(diào)度等操作,方便用戶(hù)使用。高效的Saber計(jì)算庫(kù)是由大量的匯編級(jí)優(yōu)化代碼組成,支持眾多業(yè)內(nèi)產(chǎn)品,如Intel-CPU、NV-GPU、AMD-GPU和ARM等。
百度X-MAN的問(wèn)世與升級(jí)為人工智能領(lǐng)域解決算力提升問(wèn)題做出了重要貢獻(xiàn),成為人工智能發(fā)展真正的加速器。目前,X-MAN系列產(chǎn)品已在百度實(shí)現(xiàn)規(guī)模化部署,廣泛應(yīng)用于語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)音處理、無(wú)人車(chē)等基礎(chǔ)AI技術(shù)的深度學(xué)習(xí)模型訓(xùn)練;X-MAN與FAST-F AI存儲(chǔ)系統(tǒng)、百度AI計(jì)算訓(xùn)練平臺(tái)KongMing一起構(gòu)建了端到端的訓(xùn)練方案,將訓(xùn)練時(shí)間從周級(jí)別縮短到天級(jí)別,服務(wù)于百度DuerOS、Apollo、百度智能云等核心業(yè)務(wù),助力百度AI戰(zhàn)略的快速落地。
百度AI計(jì)算系統(tǒng)作為AI計(jì)算基礎(chǔ)技術(shù)解決方案,也同時(shí)應(yīng)用到了百度智能云的AI相關(guān)產(chǎn)品中,比如百度智能云GPU云主機(jī)、百度智能云Infinite AI開(kāi)發(fā)平臺(tái)、百度智能云ABC一體機(jī)等,使各行各業(yè)都能享受到百度AI計(jì)算基礎(chǔ)技術(shù)創(chuàng)新帶來(lái)的紅利。
憑借著對(duì)AI業(yè)務(wù)模型的深刻理解、扎實(shí)的硬件基礎(chǔ)架構(gòu)技術(shù)和對(duì)行業(yè)趨勢(shì)的準(zhǔn)確預(yù)判,百度設(shè)計(jì)了X-MAN AI計(jì)算平臺(tái)系列產(chǎn)品,創(chuàng)造了6項(xiàng)業(yè)界第一,包括單機(jī)16卡、支持64卡擴(kuò)展、硬件解耦、資源池化、無(wú)損通信、液冷散熱等,同時(shí)期關(guān)鍵技術(shù)&性能保持領(lǐng)先,引領(lǐng)行業(yè)發(fā)展趨勢(shì)。該系列技術(shù)也獲得了2018年中國(guó)國(guó)家專(zhuān)利技術(shù)優(yōu)秀獎(jiǎng)。
百度AI計(jì)算系統(tǒng)展臺(tái)擁有的超強(qiáng)AI實(shí)力系統(tǒng),包括了百度自主研發(fā)的最新超級(jí)AI計(jì)算平臺(tái)X-MAN3.0和支撐百度AI計(jì)算層面的FAST-F AI存儲(chǔ)系統(tǒng)、百度AI計(jì)算訓(xùn)練平臺(tái)KongMing、AI推理加速引擎Anakin等軟件,服務(wù)于百度搜索、DuerOS、Apollo、百度智能云等核心業(yè)務(wù)。
AI推理加速引擎Anakin是另一個(gè)吸引了眾多業(yè)內(nèi)關(guān)注的百度AI產(chǎn)品。它解決的痛點(diǎn)是能夠跨越不同的深度學(xué)習(xí)訓(xùn)練框架。近幾年,為了解決AI計(jì)算力提升問(wèn)題,業(yè)界涌現(xiàn)出了很多優(yōu)秀的解決方案。但是帶來(lái)的問(wèn)題是,不同訓(xùn)練框架需要的運(yùn)營(yíng)環(huán)境不同。這意味著每個(gè)訓(xùn)練框架在每個(gè)硬件平臺(tái)下都需要各搭建一套運(yùn)行環(huán)境,甚至還有些框架是不支持某些硬件平臺(tái)的。他們之間的不互通,使得很多AI應(yīng)用落地受到了阻礙。
算法、數(shù)據(jù)和計(jì)算是推動(dòng)AI深度學(xué)習(xí)技術(shù)快速發(fā)展的三大要素。在人工智能應(yīng)用場(chǎng)景和規(guī)模快速發(fā)展的背后,為支持更強(qiáng)的泛化能力,更高的預(yù)測(cè)精度,算法模型日趨復(fù)雜,越來(lái)越多的數(shù)據(jù)需要被及時(shí)標(biāo)注和處理,計(jì)算性能成為關(guān)鍵。圖像分析的樣本量級(jí)大約為百億級(jí),而語(yǔ)音分析也達(dá)到了十萬(wàn)小時(shí)級(jí)。訓(xùn)練數(shù)據(jù)樣本量越來(lái)越大,且主要是小文件,對(duì)存儲(chǔ)系統(tǒng)的成本和性能都提出了很大挑戰(zhàn)。最新的算法發(fā)展比如Deep Speech、BERT對(duì)整個(gè)計(jì)算需求所造成的挑戰(zhàn)變得更大,同時(shí)AutoDL等技術(shù)在簡(jiǎn)化模型研發(fā)設(shè)計(jì)的同時(shí)也對(duì)算力提出了更高的要求,因此針對(duì)AI場(chǎng)景需要一整套計(jì)算系統(tǒng),包括支持海量小文件高速訪問(wèn)的并行文件系統(tǒng)、AI計(jì)算機(jī)、大規(guī)模分布式訓(xùn)練平臺(tái)以及在線服務(wù)推理框架,這正是百度AI計(jì)算系統(tǒng)要解決的挑戰(zhàn),提升整個(gè)計(jì)算系統(tǒng)的性能與效率提高尤為重要。
Anakin不僅同時(shí)支持CPU和GPU base的多種主流計(jì)算架構(gòu)(如X86/ARM、以及多種GPU架構(gòu)),還同時(shí)支持兩款最新的NPU架構(gòu)(寒武紀(jì)和比特大陸)。 Anakin盡可能為開(kāi)發(fā)者屏蔽異構(gòu)計(jì)算的差異,方便用戶(hù)快速部署、享受卓越性能。