11月7日，騰訊Techo開發(fā)者大會的“騰訊大數(shù)據(jù)”分論壇上，圍繞大數(shù)據(jù)的新技術(shù)進(jìn)展及開源生態(tài)，騰訊大數(shù)據(jù)團(tuán)隊(duì)進(jìn)行了詳細(xì)解讀，包括由集群規(guī)模化與異構(gòu)化挑戰(zhàn)所引發(fā)的漂移計(jì)算等新技術(shù)創(chuàng)新，越來越普遍的實(shí)時(shí)計(jì)算需求以及新架構(gòu)的實(shí)踐，能夠無限彈性擴(kuò)展的、面向未來的數(shù)據(jù)湖體系結(jié)構(gòu)，大數(shù)據(jù)技術(shù)發(fā)展的新趨勢與新挑戰(zhàn)等。

騰訊也通過開源和廣大開發(fā)者共享技術(shù)成果，并希望推動(dòng)業(yè)界共同加入構(gòu)建開源正生態(tài)。在前一天的大會主論壇上，騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰博士宣布資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源，騰訊正在走向大數(shù)據(jù)領(lǐng)域全面開源之路。

十年技術(shù)演進(jìn) 從引進(jìn)到自研

蔣杰指出，自2009年起，騰訊大數(shù)據(jù)平臺已完成三次迭代，從以Hadoop為核心的離線計(jì)算時(shí)代到以Storm、Spark、Flink為核心的實(shí)時(shí)計(jì)算時(shí)代，再到如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)時(shí)代。經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺的算力資源池目前已有超過20萬臺的規(guī)模，每天實(shí)時(shí)數(shù)據(jù)計(jì)算量超過30萬億條，騰訊已經(jīng)成為中國實(shí)時(shí)數(shù)據(jù)計(jì)算量最大的公司。

從開始的技術(shù)引進(jìn)、局部優(yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)在實(shí)踐中不斷優(yōu)化、不斷完善。隨著系統(tǒng)演進(jìn)和數(shù)據(jù)增長，異構(gòu)集群、異構(gòu)數(shù)據(jù)源問題凸顯，directadmin漢化，為了降低數(shù)據(jù)使用壁壘，漂移計(jì)算平臺研發(fā)負(fù)責(zé)人張韶全博士表示：“騰訊大數(shù)據(jù)去年自研了漂移計(jì)算引擎SuperSQL，滿足跨地區(qū)、跨集群、跨數(shù)據(jù)源的聯(lián)邦數(shù)據(jù)需求，通過解決數(shù)據(jù)孤島、優(yōu)化資源使用，能夠極大地降低數(shù)據(jù)聯(lián)合分析的使用門檻，提升數(shù)據(jù)使用效率，最大化數(shù)據(jù)使用的價(jià)值。”

（騰訊漂移計(jì)算平臺研發(fā)負(fù)責(zé)人張韶全博士）

2015年起，騰訊就開始對大數(shù)據(jù)進(jìn)行實(shí)時(shí)化的改造，到現(xiàn)在騰訊內(nèi)部所有產(chǎn)品都已經(jīng)廣泛開始使用實(shí)時(shí)計(jì)算的模式。據(jù)實(shí)時(shí)計(jì)算平臺研發(fā)負(fù)責(zé)人施曉罡博士介紹，Oceanus是騰訊基于Flink打造的集開發(fā)、測試、部署和運(yùn)維于一體的一站式可視化實(shí)時(shí)計(jì)算平臺。目前Oceanus在內(nèi)部支持了包括微信、QQ、騰訊游戲、騰訊視頻、微信支付、財(cái)付通和CDN在內(nèi)的多個(gè)重要產(chǎn)品，并在騰訊云上為公有云和私有云用戶提供可靠的實(shí)時(shí)計(jì)算服務(wù)。圍繞著內(nèi)部海量業(yè)務(wù)，oceanus團(tuán)隊(duì)同時(shí)將現(xiàn)網(wǎng)面臨的各類問題以及解決手段反饋給社區(qū)，目前已經(jīng)貢獻(xiàn)了超過300多個(gè)的patch，為flink穩(wěn)定性、擴(kuò)展性、易用性以及高性能做出重要貢獻(xiàn)。

（騰訊實(shí)時(shí)計(jì)算平臺研發(fā)負(fù)責(zé)人施曉罡博士）

而隨著數(shù)據(jù)應(yīng)用越來越深入，騰訊對數(shù)據(jù)挖掘的需求也越來越多。2015年初，騰訊開始自研高性能的分布式機(jī)器學(xué)習(xí)平臺Angel，采用PS架構(gòu)，能支持10億維度，目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)。從1.0到3.0，Angel從一個(gè)單一的模型訓(xùn)練平臺發(fā)展到涵蓋機(jī)器學(xué)習(xí)各個(gè)流程的全棧機(jī)器學(xué)習(xí)平臺，并且已應(yīng)用于微信支付、QQ、騰訊視頻、騰訊社交廣告及用戶畫像挖掘等業(yè)務(wù)。

目前，騰訊正在探索以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺的研究,該平臺將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。

大數(shù)據(jù)平臺全面開源 助力構(gòu)建開源生態(tài)

今年，在內(nèi)部開源協(xié)同的戰(zhàn)略推動(dòng)下，騰訊在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速。此次在Techo大會現(xiàn)場，騰訊重磅宣布正式開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase，至此完成了騰訊大數(shù)據(jù)核心能力全開源，并期望推動(dòng)業(yè)界一起構(gòu)建繁榮的開源生態(tài)。

其中，TKE是基于 Kubernetes 的開源容器平臺，在大數(shù)據(jù)，深度學(xué)習(xí)，通用服務(wù)等現(xiàn)網(wǎng)業(yè)務(wù)的實(shí)踐和打磨下，可以同時(shí)服務(wù)公有云和私有云，并且在易用性，可靠性，安全性，通用性等方面領(lǐng)先業(yè)界。目前TKE已應(yīng)用于騰訊內(nèi)外部游戲、銀行、汽車等多項(xiàng)業(yè)務(wù)。

TBase則是在開源的PostgreSQL基礎(chǔ)上自主研發(fā)的企業(yè)級分布式HTAP數(shù)據(jù)庫管理系統(tǒng)，具備高擴(kuò)展性、SQL高兼容度、提供分布式全局事務(wù)一致性功能支持、多級容災(zāi)能力以及多維度資源隔離能力的高安全性等特征，同時(shí)支持關(guān)系模型下的在線交易+分析型業(yè)務(wù)。自2015年上線以來，TBase已在騰訊內(nèi)外部包括政務(wù)、銀行、保險(xiǎn)、證券、微信支付等多個(gè)行業(yè)提供底層數(shù)據(jù)庫支撐。