2019年5月8日-10日,第十屆中國數(shù)據(jù)庫技術(shù)大會(DTCC 2019)在京隆重召開,Zilliz 受邀參加并榮獲 " 年度創(chuàng)新企業(yè)獎 ",并發(fā)布了業(yè)界首個GPU加速AI數(shù)據(jù)中臺產(chǎn)品——Mega。創(chuàng)始人兼CEO星爵表示,虛擬主機,香港服務器,Zilliz的AI數(shù)據(jù)中臺Mega使用GPU處理器將數(shù)據(jù)ETL、數(shù)據(jù)倉庫、模型訓練、推理和部署等多個流程進行融合和加速,打破了人工智能和數(shù)據(jù)處理之間的分界和壁壘,提供GPU加速的一站式AI數(shù)據(jù)科學解決方案。Zilliz團隊堅持獨立自主研發(fā),在經(jīng)歷了1096個日夜的研發(fā)攻堅后,終于推出了Mega數(shù)據(jù)中臺產(chǎn)品。正是因為 Zilliz 人前瞻的產(chǎn)品格局及創(chuàng)新的技術(shù)追求,從眾多數(shù)據(jù)庫廠商中脫穎而出,在"2019中國數(shù)據(jù)庫技術(shù)年度評選 "過程中受到了評委會的一致高度認可,被評為"年度創(chuàng)新企業(yè)"。
DTCC 2019的主題是"數(shù)據(jù)風云,十年變遷",中國數(shù)據(jù)庫十年間,技術(shù)領(lǐng)域百舸爭流,不乏引路者、追隨者與開拓者。Zilliz 自 2016 年成立以來,始終堅信隨著 AI 在全球各行業(yè)落地的進一步深化和應用數(shù)據(jù)量的飛速增長,數(shù)據(jù) ETL、數(shù)據(jù)倉庫和海量特征向量檢索等數(shù)據(jù)處理流程勢必將無限簡化易用,所以潛心堅守獨立自主研發(fā),從獨創(chuàng)國內(nèi)新一代異構(gòu)眾核加速數(shù)據(jù)庫系統(tǒng) Mega 到打通人工智能端到端數(shù)據(jù)中臺系統(tǒng)(Mega),可謂 " 挑燈三年磨一劍,只為一朝試鋒芒 "。
圖:Zilliz 創(chuàng)始人兼 CEO 在 DTCC2019 大會發(fā)表演講
GPU 加速 AI 數(shù)據(jù)中臺 Mega 于 2019 年上半年正式開放商用,下圖是 Mega 系統(tǒng)架構(gòu)展示。
圖:Mega 系統(tǒng)架構(gòu)圖
依托 GPU 的強算力,Mega 實現(xiàn)了將所有資源,包括計算資源和存儲資源的統(tǒng)一管理與調(diào)度。目前共包含四大核心產(chǎn)品:
●MegaETL:GPU 加速 ETL。大量的數(shù)據(jù) ETL 耗時巨大,占用了 AI 科學家和工程師太多時間和精力。而大多數(shù)數(shù)據(jù)提取和轉(zhuǎn)換過程本質(zhì)上卻是可以通過并行處理進行加速的。MegaETL 依托 GPU 強大的并行運算能力,加速數(shù)據(jù)轉(zhuǎn)換和清洗的過程,能將數(shù)據(jù) ETL 處理的時間減少 50~60 倍。
●MegaWise:GPU 加速數(shù)據(jù)分析引擎。MegaWise 是基于 GPU 硬件加速的新一代 OLAP 處理引擎,突破了數(shù)據(jù)分析中計算能力和存儲帶寬兩大瓶頸,和主流 CPU 數(shù)據(jù)處理引擎相比,查詢性能提升 100 倍以上,硬件成本和運維成本降低 10 倍。
●MegaLearning:大數(shù)據(jù)資產(chǎn) AI 賦能。在過去的十年間,很多企業(yè)都構(gòu)建了大數(shù)據(jù)系統(tǒng),在其上積累和存儲了大量的數(shù)據(jù)資產(chǎn)。MegaLearning 幫助用戶直接在已有的大數(shù)據(jù)系統(tǒng)(如 Hive 和 Impala 等)之上進行機器學習和深度學習的訓練,打通底層數(shù)據(jù)資產(chǎn)、大數(shù)據(jù)系統(tǒng)和 AI 訓練系統(tǒng)之間的隔閡。MegaLearning 自動為 AI 科學家解決數(shù)據(jù)預處理、數(shù)據(jù)緩存和調(diào)度等任務,使得他們能用直接、便易的方式將 AI 訓練和推理任務構(gòu)建在現(xiàn)有的大數(shù)據(jù)系統(tǒng)之上,讓 AI 科學家專注于 AI 建模、調(diào)優(yōu)和調(diào)參,能幫助他們節(jié)省 8 成以上的程序開發(fā)工作量。
●MegaSearch:GPU 加速海量特征向量匹配和檢索引擎。特征向量是深度學習對數(shù)據(jù)倉庫和數(shù)據(jù)分析領(lǐng)域提出的全新數(shù)據(jù)類型,是現(xiàn)代圖片分析、視頻分析、NLP 和語音分析等的基石。在實際部署中,海量特征向量匹配和檢索的速度及準確度往往是決定 AI 模型落地效果和可用性的關(guān)鍵。MegaSearch 依托 GPU 加速,提供極速特征向量匹配以及多維度數(shù)據(jù)聯(lián)合查詢(特征、標簽、圖片、視頻、文本和語音等聯(lián)合查詢)功能,并且支持自動分表分庫和多副本,能完美對接 TensorFlow、Pytorch 和 MXNet 等 AI 模型,可實現(xiàn)百億特征向量的秒級查詢。
伴隨著 AI、IoT、5G 的大規(guī)模應用,我們將迎來更復雜多樣的業(yè)務需求。Zilliz 將始終專注打磨出更完備的 GPU 加速 AI 數(shù)據(jù)中臺,服務不斷增長的用戶需求。
【凡本網(wǎng)注明來源非中國IDC圈的作品,均轉(zhuǎn)載自其它媒體,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。】