自2010年國際上首次提出“數(shù)據(jù)湖”概念以來，數(shù)據(jù)湖就被視為大數(shù)據(jù)的終極挑戰(zhàn)。所謂數(shù)據(jù)湖，即把所有的數(shù)據(jù)以原始格式存儲在一個統(tǒng)一的地方，以供后續(xù)使用。數(shù)據(jù)湖的出現(xiàn)，是為了應(yīng)對城市和企業(yè)無法及時處理各種海量數(shù)據(jù)而先行將數(shù)據(jù)存儲起來，后續(xù)使用的時候隨需取用。“數(shù)據(jù)湖”被視為打破城市和企業(yè)的數(shù)據(jù)孤島的重要基礎(chǔ)設(shè)施，而且由于“數(shù)據(jù)湖”中存儲了全量全域數(shù)據(jù)而更能為人工智能所用，從而創(chuàng)造更大的價值，例如用人工智能對一個城市或企業(yè)的全量數(shù)據(jù)進行分析，從而得出超越現(xiàn)有經(jīng)驗的全新洞察。
近年來，各地都在興建“數(shù)據(jù)湖”，往往一個數(shù)據(jù)湖項目就涉及上百畝產(chǎn)業(yè)園以及數(shù)十億投資。因此，“數(shù)據(jù)湖”也被視為智慧城市和智慧企業(yè)發(fā)展的重大投資。簡單理解，數(shù)據(jù)湖就是要給城市和企業(yè)建立一個數(shù)據(jù)中臺，建立一個打通城市和企業(yè)的智慧基礎(chǔ)設(shè)施。然而，Gartner曾預(yù)測，到2018年將有90%的數(shù)據(jù)湖將毫無用處，因為這些原始數(shù)據(jù)，缺乏有效的技術(shù)手段去使用它們。換句話說，只有“數(shù)據(jù)+智能”的智能數(shù)據(jù)解決方案，才能喚醒數(shù)據(jù)湖的真正價值。
2019年6月5日，華為在北京發(fā)布智能數(shù)據(jù)解決方案FusionData，支持智能的數(shù)據(jù)全生命周期管理，讓數(shù)據(jù)存得下、流得動、算得快、用得好，把數(shù)據(jù)資源轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)。華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍表示：“不久的將來，可實現(xiàn)一家企業(yè)一個數(shù)據(jù)湖，一座城市一個數(shù)據(jù)湖，滿足居民的生產(chǎn)與生活、企業(yè)的運營和發(fā)展、城市政府的管理和服務(wù)等各項需求，加速全社會的智能化進程。”
數(shù)字化轉(zhuǎn)型也要不斷升級
眾所周知，世界上90%的數(shù)據(jù)是在過去兩年內(nèi)產(chǎn)生的，并且以每兩年翻倍的數(shù)據(jù)往上遞增，這些數(shù)據(jù)有結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。從現(xiàn)在到未來五年，將有500億臺互聯(lián)的智能機器，這些互聯(lián)智能機器和設(shè)備用來分析、收集和采集數(shù)據(jù)。如何獲得數(shù)據(jù)、如何有效使用數(shù)據(jù)并且把數(shù)據(jù)用以指導(dǎo)業(yè)務(wù)，這是新的課題。
國家戰(zhàn)略性新興產(chǎn)業(yè)專家委員會秘書長杜平在2019數(shù)博會的專業(yè)論壇上發(fā)言認為，數(shù)字經(jīng)濟是數(shù)字技術(shù)與資本、人才、市場相融合的一種經(jīng)濟形態(tài)，歐洲服務(wù)器，當前整個社會經(jīng)濟發(fā)展向網(wǎng)絡(luò)化、數(shù)字化、智能化轉(zhuǎn)型，在轉(zhuǎn)型過程中由于人們的社會經(jīng)濟活動而源源不斷產(chǎn)生新的數(shù)據(jù)，這是數(shù)字社會與之前工業(yè)社會和信息社會中前期最大的不同之處。
對于當前正在進行的數(shù)字化轉(zhuǎn)型，杜平強調(diào)轉(zhuǎn)型必須不斷迭代升級，同時要取得投資回報，特別是長期要有投資回報，否則不可持續(xù)。為此，要同時強調(diào)成本和產(chǎn)出：成本既包括資金，也包括時間、效率、營商環(huán)境；而產(chǎn)出不僅要有資金回報，還要帶來體驗感，也就是數(shù)字社的便利性、安全感、獲得感。換句話說，數(shù)字經(jīng)濟時代是大家共享發(fā)展成果，香港服務(wù)器租用，這與之前的社經(jīng)經(jīng)濟模式不同，因此要統(tǒng)籌考慮成本和產(chǎn)出問題。
然而，當前的大部分應(yīng)用仍為舊應(yīng)用或傳統(tǒng)應(yīng)用。政府和企業(yè)擁有大量的數(shù)據(jù)管理員，他們當中的大多數(shù)在管理著傳統(tǒng)數(shù)據(jù)庫，日常管理包括打補丁和升級等，都屬于重復(fù)性人工勞動。而政府和企業(yè)希望至少能拿出50%的人力進行創(chuàng)新和革新，希望這些人員用更多時間在數(shù)據(jù)建模、數(shù)據(jù)生命周期管理，以及前置性措施預(yù)測數(shù)據(jù)漏洞及安全，以保障和提升企業(yè)在市場上的聲譽。
因此，不論對于政府還是企業(yè)來說，“數(shù)據(jù)湖”能夠統(tǒng)一容納和管理傳統(tǒng)數(shù)據(jù)技術(shù)以及新興數(shù)據(jù)技術(shù)，把所有的數(shù)據(jù)管理員集中起來重新分配工作特別是進行創(chuàng)新性工作，而不是像之前那樣不同的數(shù)據(jù)庫系統(tǒng)都要配備高級數(shù)據(jù)管理員從事日常管理工作。更重要的是，“數(shù)據(jù)湖”作為一個企業(yè)和一個城市的統(tǒng)一數(shù)據(jù)基礎(chǔ)設(shè)施，可以在統(tǒng)一軟件架構(gòu)的管理下，不斷升級舊技術(shù)的同時容納新技術(shù)，最終實現(xiàn)可持續(xù)發(fā)展的基礎(chǔ)設(shè)施。從這個角度來說，“數(shù)據(jù)湖”是大數(shù)據(jù)的終極基礎(chǔ)設(shè)施。
華為全球產(chǎn)業(yè)展望(GIV)報告顯示，全球數(shù)據(jù)量將從2018年32.5ZB快速增長到2025年的180ZB。但企業(yè)生產(chǎn)活動產(chǎn)生的數(shù)據(jù)中只有不到2%被保存，而其中得到分析利用的不足10%，數(shù)據(jù)價值沒有得到充分釋放，并且企業(yè)普遍存在煙囪式業(yè)務(wù)系統(tǒng)，導(dǎo)致數(shù)據(jù)管理、應(yīng)用效率低。對此，華為IT產(chǎn)品線副總裁、智能數(shù)據(jù)與存儲領(lǐng)域總裁周躍峰表示，“各行各業(yè)在實現(xiàn)數(shù)據(jù)價值時面臨數(shù)據(jù)接入難、分析難、消費難等挑戰(zhàn)，亟待更智能的數(shù)據(jù)解決方案。”
