全球范圍內(nèi)，研究發(fā)展大數(shù)據(jù)技術(shù)、運(yùn)用大數(shù)據(jù)推動(dòng)經(jīng)濟(jì)發(fā)展、完善社會(huì)治理、提升政府服務(wù)和監(jiān)管能力正成為趨勢。下面將從應(yīng)用、治理和技術(shù)三個(gè)方面來講講當(dāng)前的大數(shù)據(jù)的現(xiàn)狀與趨勢。
一、大數(shù)據(jù)應(yīng)用的三個(gè)層次
按照數(shù)據(jù)開發(fā)應(yīng)用深入程度的不同，可將眾多的大數(shù)據(jù)應(yīng)用分為三個(gè)層次。
第一層，描述性分析應(yīng)用，是指從大數(shù)據(jù)中總結(jié)、抽取相關(guān)的信息和知識(shí)，幫助人們分析發(fā)生了什么，并呈現(xiàn)事物的發(fā)展歷程。
如美國的DOMO公司從其企業(yè)客戶的各個(gè)信息系統(tǒng)中抽取、整合數(shù)據(jù)，再以統(tǒng)計(jì)圖表等可視化形式，將數(shù)據(jù)蘊(yùn)含的信息推送給不同崗位的業(yè)務(wù)人員和管理者，幫助其更好地了解企業(yè)現(xiàn)狀，進(jìn)而做出判斷和決策。
第二層，預(yù)測性分析應(yīng)用，是指從大數(shù)據(jù)中分析事物之間的關(guān)聯(lián)關(guān)系、發(fā)展模式等，并據(jù)此對事物發(fā)展的趨勢進(jìn)行預(yù)測。
如微軟公司紐約研究院研究員David Rothschild通過收集和分析賭博市場、好萊塢證券交易所、社交媒體用戶發(fā)布的帖子等大量公開數(shù)據(jù)，建立預(yù)測模型，對多屆奧斯卡獎(jiǎng)項(xiàng)的歸屬進(jìn)行預(yù)測。2014和2015年，均準(zhǔn)確預(yù)測了奧斯卡共24個(gè)獎(jiǎng)項(xiàng)中的21個(gè)，準(zhǔn)確率達(dá)87.5%。
第三層，指導(dǎo)性分析應(yīng)用，是指在前兩個(gè)層次的基礎(chǔ)上，分析不同決策將導(dǎo)致的后果，并對決策進(jìn)行指導(dǎo)和優(yōu)化。
如無人駕駛汽車分析高精度地圖數(shù)據(jù)和海量的激光雷達(dá)、攝像頭等傳感器的實(shí)時(shí)感知數(shù)據(jù)，對車輛不同駕駛行為的后果進(jìn)行預(yù)判，并據(jù)此指導(dǎo)車輛的自動(dòng)駕駛。
當(dāng)前，在大數(shù)據(jù)應(yīng)用的實(shí)踐中，描述性、預(yù)測性分析應(yīng)用多，決策指導(dǎo)性等更深層次分析應(yīng)用偏少。不同類型的應(yīng)用意味著人類和計(jì)算機(jī)在決策流程中不同的分工和協(xié)作。
雖然已有很多成功的大數(shù)據(jù)應(yīng)用案例，但還遠(yuǎn)未達(dá)到我們的預(yù)期，大數(shù)據(jù)應(yīng)用仍處于初級(jí)階段。未來，隨著應(yīng)用領(lǐng)域的拓展、技術(shù)的提升、數(shù)據(jù)共享開放機(jī)制的完善，以及產(chǎn)業(yè)生態(tài)的成熟，具有更大潛在價(jià)值的預(yù)測性和指導(dǎo)性應(yīng)用將是發(fā)展的重點(diǎn)。
大數(shù)據(jù)治理體系的發(fā)展
隨著大數(shù)據(jù)作為戰(zhàn)略資源的地位日益凸顯，人們越來越強(qiáng)烈地意識(shí)到制約大數(shù)據(jù)發(fā)展最大的短板之一就是：數(shù)據(jù)治理體系遠(yuǎn)未形成，如數(shù)據(jù)資產(chǎn)地位的確立尚未達(dá)成共識(shí)，數(shù)據(jù)的確權(quán)、流通和管控面臨多重挑戰(zhàn)；數(shù)據(jù)壁壘廣泛存在，阻礙了數(shù)據(jù)的共享和開放；法律法規(guī)發(fā)展滯后，導(dǎo)致大數(shù)據(jù)應(yīng)用存在安全與隱私風(fēng)險(xiǎn)等等。如此種種因素，制約了數(shù)據(jù)資源中所蘊(yùn)含價(jià)值的挖掘與轉(zhuǎn)化。
其中，隱私、安全與共享利用之間的矛盾問題尤為凸顯。一方面，數(shù)據(jù)共享開放的需求十分迫切。近年來人工智能應(yīng)用取得的重要進(jìn)展，主要源于對海量、高質(zhì)量數(shù)據(jù)資源的分析和挖掘。而對于單一組織機(jī)構(gòu)而言，往往靠自身的積累難以聚集足夠的高質(zhì)量數(shù)據(jù)。
另外，大數(shù)據(jù)應(yīng)用的威力，在很多情況下源于對多源數(shù)據(jù)的綜合融合和深度分析，從而獲得從不同角度觀察、認(rèn)知事物的全方位視圖。而單個(gè)系統(tǒng)、組織的數(shù)據(jù)往往僅包含事物某個(gè)片面、局部的信息，因此，只有通過共享開放和數(shù)據(jù)跨域流通才能建立信息完整的數(shù)據(jù)集。
然而，另一方面，數(shù)據(jù)的無序流通與共享，又可能導(dǎo)致隱私保護(hù)和數(shù)據(jù)安全方面的重大風(fēng)險(xiǎn)，必須對其加以規(guī)范和限制。2016年11月7日，全國人大常委會(huì)通過的《中華人民共和國網(wǎng)絡(luò)安全法》中明確了對個(gè)人信息收集、使用及保護(hù)的要求，并規(guī)定了個(gè)人對其個(gè)人信息進(jìn)行更正或刪除的權(quán)利。2019年，中央網(wǎng)信辦發(fā)布了《數(shù)據(jù)安全管理辦法（征求意見稿）》，向社會(huì)公開征求意見，明確了個(gè)人信息和重要數(shù)據(jù)的收集、處理、使用和安全監(jiān)督管理的相關(guān)標(biāo)準(zhǔn)和規(guī)范。相信這些法律法規(guī)將在促進(jìn)數(shù)據(jù)的合規(guī)使用、保障個(gè)人隱私和數(shù)據(jù)安全等方面發(fā)揮不可或缺的重要作用。
大數(shù)據(jù)理論與技術(shù)創(chuàng)新
近年來，數(shù)據(jù)規(guī)模呈幾何級(jí)數(shù)高速成長。據(jù)國際信息技術(shù)咨詢企業(yè)國際數(shù)據(jù)公司（IDC）的報(bào)告，2020年全球數(shù)據(jù)存儲(chǔ)量將達(dá)到44ZB（1021），到2030年將達(dá)到2500ZB。當(dāng)前，需要處理的數(shù)據(jù)量已經(jīng)大大超過處理能力的上限，從而導(dǎo)致大量數(shù)據(jù)因無法或來不及處理，而處于未被利用、價(jià)值不明的狀態(tài)，這些數(shù)據(jù)被稱為“暗數(shù)據(jù)”。
據(jù)國際商業(yè)機(jī)器公司（IBM）的研究報(bào)告估計(jì)，大多數(shù)企業(yè)僅對其所有數(shù)據(jù)的1%進(jìn)行了分析應(yīng)用。近年來，大數(shù)據(jù)獲取、存儲(chǔ)、管理、處理、分析等相關(guān)的技術(shù)已有顯著進(jìn)展，但是大數(shù)據(jù)技術(shù)體系尚不完善，大數(shù)據(jù)基礎(chǔ)理論的研究仍處于萌芽期。
