大數(shù)據(jù)是從各種渠道收集的大量數(shù)字數(shù)據(jù)的總稱(chēng),由于它數(shù)量巨大、未經(jīng)處理、非結(jié)構(gòu)化,無(wú)法通過(guò)目前主流的軟件工具在合理時(shí)間進(jìn)行采集、存儲(chǔ)和處理。據(jù)IBM統(tǒng)計(jì),全球近90%的數(shù)據(jù)是在過(guò)去的2年中生成的,每天增加2.5 EB(1 EB=1 024 PB)數(shù)據(jù),其中,約90%的數(shù)據(jù)是非結(jié)構(gòu)化的。來(lái)自網(wǎng)絡(luò)和云平臺(tái)的大數(shù)據(jù)為價(jià)值創(chuàng)造和商業(yè)智能提供了新的機(jī)會(huì),可以為任何組織提供決策支持。盡管如此,大數(shù)據(jù)也意味著新的挑戰(zhàn),涉及復(fù)雜性、安全性和隱私風(fēng)險(xiǎn)以及對(duì)新技術(shù)和技能的要求。雖然商業(yè)企業(yè)在大數(shù)據(jù)應(yīng)用和技術(shù)開(kāi)發(fā)領(lǐng)域處于領(lǐng)先地位,但是政府部門(mén)也已開(kāi)始利用來(lái)自網(wǎng)絡(luò)、生物和傳感器、視頻等多種渠道的快速增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù),以獲得洞察力和進(jìn)行及時(shí)決策。面對(duì)大數(shù)據(jù)帶來(lái)的機(jī)遇和挑戰(zhàn),各國(guó)政府都想在這個(gè)領(lǐng)域占得先機(jī),雖然實(shí)施方案有所差異,但在決策理念上卻幾乎一致,即在宏觀層面部署符合本國(guó)國(guó)情的大數(shù)據(jù)戰(zhàn)略,在中觀層面設(shè)計(jì)大數(shù)據(jù)治理的體制機(jī)制,在微觀層面考慮大數(shù)據(jù)管理的應(yīng)對(duì)策略、程序和行動(dòng)。
2009年,美國(guó)政府上線(xiàn)了data.gov,這是全球第一個(gè)開(kāi)放政府數(shù)據(jù)項(xiàng)目,它是一個(gè)數(shù)據(jù)倉(cāng)庫(kù),目前它擁有近500萬(wàn)個(gè)數(shù)據(jù)集,涵蓋交通、經(jīng)濟(jì)、醫(yī)療、教育和公共服務(wù)以及多種應(yīng)用領(lǐng)域的數(shù)據(jù)。2012年,美國(guó)政府宣布了“大數(shù)據(jù)研究與開(kāi)發(fā)計(jì)劃(big data research and development initiative)”,投資2億美元,主要目標(biāo)是發(fā)展最先進(jìn)的核心大數(shù)據(jù)技術(shù),加快科學(xué)和工程學(xué)的發(fā)現(xiàn)速度,加強(qiáng)國(guó)家安全,轉(zhuǎn)變教學(xué)方式,擴(kuò)大開(kāi)發(fā)和使用大數(shù)據(jù)技術(shù)。2012年,美國(guó)國(guó)家科學(xué)基金會(huì)(National Science Foundation,NSF)和美國(guó)國(guó)立衛(wèi)生研究院(National Institutes of Health,NIH)聯(lián)合啟動(dòng)了“發(fā)展大數(shù)據(jù)科學(xué)與工程核心技術(shù)(core techniques and technologies for advancing big data science & engineering)”項(xiàng)目,旨在發(fā)展核心科學(xué)技術(shù)手段,以提取、管理、分析、可視化來(lái)自大量、多樣、分布式、異構(gòu)數(shù)據(jù)集中的有用信息。2014年,NIH已在亞馬遜云服務(wù)(AWS)平臺(tái)上累積了數(shù)百TB的人類(lèi)基因數(shù)據(jù),研究人員無(wú)需開(kāi)發(fā)自身的超級(jí)計(jì)算功能即可訪(fǎng)問(wèn)和分析其中的大量基因數(shù)據(jù)。2010 年,歐盟啟動(dòng)“歐洲數(shù)字議程(digital agenda for Europe)”戰(zhàn)略,以解決如何通過(guò)快速和超快速的互操作互聯(lián)網(wǎng)應(yīng)用程序在單一數(shù)字市場(chǎng)為歐盟公民帶來(lái)可持續(xù)的經(jīng)濟(jì)和社會(huì)利益的問(wèn)題。2012年,歐盟委員會(huì)在“歐洲數(shù)字議程以及2012挑戰(zhàn)(digital agenda for Europe and challenges for 2012)”計(jì)劃中詳細(xì)介紹了大數(shù)據(jù)戰(zhàn)略,為確保歐盟成員國(guó)之間的網(wǎng)絡(luò)安全和數(shù)據(jù)互聯(lián)安全,該戰(zhàn)略強(qiáng)調(diào)了歐盟成員國(guó)之間公共數(shù)據(jù)的安全性以及包括政府等在內(nèi)的公共機(jī)構(gòu)管理下的大數(shù)據(jù)的價(jià)值潛力,并明確該戰(zhàn)略是歐盟數(shù)字化議程的一部分。歐盟20個(gè)成員國(guó)與IBM合作發(fā)起了一項(xiàng)名為穹頂(DOME)的大數(shù)據(jù)項(xiàng)目,該項(xiàng)目由荷蘭射電天文學(xué)研究所(ASTRON)和IBM合作提供Exa超級(jí)計(jì)算機(jī)技術(shù),旨在解決有關(guān)可觀測(cè)宇宙的一系列科學(xué)問(wèn)題,每天能夠處理從平方公里射電陣(square kilometre array,SKA)射電望遠(yuǎn)鏡產(chǎn)生的超過(guò)1 EB的數(shù)據(jù)。英國(guó)是歐洲較早實(shí)施大數(shù)據(jù)計(jì)劃的國(guó)家之一,于2004年成立了英國(guó)地平線(xiàn)掃描中心(Horizon Scanning Center, HSC),以提高政府應(yīng)對(duì)跨部門(mén)和多學(xué)科挑戰(zhàn)的能力。英國(guó)政府于2009年創(chuàng)建了開(kāi)放政府數(shù)據(jù)網(wǎng)站data.gov.uk,為公共部門(mén)的數(shù)據(jù)利用和數(shù)據(jù)共享提供一站式數(shù)據(jù)服務(wù)。韓國(guó)于2011年發(fā)布的“大數(shù)據(jù)計(jì)劃(big data initiative)”旨在通過(guò)大數(shù)據(jù)促進(jìn)知識(shí)融合和行政大數(shù)據(jù)分析。2005年到2011年,日本教育、文化、體育、科學(xué)和技術(shù)部(MEXT)與大學(xué)以及其他研究機(jī)構(gòu)合作,啟動(dòng)了“信息爆炸時(shí)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施(cyber infrastructure for the information-explosion era,Infoplosion)”項(xiàng)目;MEXT與日本國(guó)家科學(xué)基金會(huì)合作,加強(qiáng)研究并利用大數(shù)據(jù)技術(shù)預(yù)防、緩解和管理自然災(zāi)害;日本內(nèi)政和通信部下屬的信息通信委員會(huì)和信息通信技術(shù)(information communication and technology,ICT)戰(zhàn)略委員會(huì)將“大數(shù)據(jù)應(yīng)用”作為日本2020年的關(guān)鍵任務(wù)。
在世界各國(guó)紛紛借助大數(shù)據(jù)技術(shù)發(fā)展提升國(guó)家治理能力和戰(zhàn)略能力的同時(shí),我國(guó)對(duì)大數(shù)據(jù)的認(rèn)識(shí)也不斷加強(qiáng)。2006年我國(guó)發(fā)布了《國(guó)家電子政務(wù)總體框架》,明確要建設(shè)國(guó)家電子政務(wù)網(wǎng)絡(luò)、政府信息資源目錄體系與交換體系(government information resource catalog system and interchange system,GIRCSIS)和信息安全基礎(chǔ)設(shè)施。2009年至今,已經(jīng)建起全國(guó)性的政府信息資源目錄體系與交換體系基礎(chǔ)設(shè)施。2015年中華人民共和國(guó)國(guó)務(wù)院通過(guò)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,指出大數(shù)據(jù)在日常生活中發(fā)揮著越來(lái)越重要的作用。在中國(guó)共產(chǎn)黨第十八屆中央委員會(huì)第五次全體會(huì)議上,與大數(shù)據(jù)相關(guān)的概念被反復(fù)提及,“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略,推進(jìn)數(shù)據(jù)資源開(kāi)放共享”的建議被正式提出。李國(guó)杰認(rèn)為大數(shù)據(jù)可能是中國(guó)信息產(chǎn)業(yè)從跟蹤走向引領(lǐng)的突破口。長(zhǎng)期以來(lái),我國(guó)政府數(shù)據(jù)僅被視為管理類(lèi)項(xiàng)目的下屬內(nèi)容,在數(shù)據(jù)管理方面暫未建立政府機(jī)構(gòu)體系下符合關(guān)聯(lián)部門(mén)合作實(shí)情的治理體系。