大數(shù)據(jù)是從什么時(shí)候就火起來(lái)的，準(zhǔn)確時(shí)間已經(jīng)不好查找，但是不妨礙概念火爆至今。雖然近一兩年里，它的勢(shì)頭被人工智能、AI蓋過(guò)去了，但是仍然是非常火爆的IT內(nèi)容。

其實(shí)所謂大數(shù)據(jù)，并不是真正的信息技術(shù)范圍內(nèi)的東西，而應(yīng)當(dāng)是統(tǒng)計(jì)學(xué)范疇里的內(nèi)容。印象里最早提出大數(shù)據(jù)運(yùn)用的應(yīng)當(dāng)是在生物醫(yī)學(xué)領(lǐng)域。比如基因測(cè)序，動(dòng)輒就幾十萬(wàn)幾百萬(wàn)的數(shù)據(jù)量。記得在2008年中國(guó)腫瘤大會(huì)上發(fā)言討論統(tǒng)計(jì)學(xué)中關(guān)乎邏輯回歸模型數(shù)據(jù)過(guò)多導(dǎo)致過(guò)度擬合問(wèn)題的時(shí)候，一個(gè)行業(yè)大佬告我們?cè)诨驅(qū)W研究中全都是上百萬(wàn)的數(shù)據(jù)！當(dāng)時(shí)非常震驚。

隨著馬云公布的淘寶銷售數(shù)據(jù)中，人們發(fā)現(xiàn)當(dāng)海量數(shù)據(jù)匯總在一起的時(shí)候，會(huì)展現(xiàn)出許多不容易為人所知的信息，并且通過(guò)對(duì)數(shù)據(jù)的分析能夠有一定的預(yù)測(cè)能力后，大數(shù)據(jù)真正進(jìn)入了大家的腦海里。一瞬間無(wú)數(shù)軟件公司不約而同地將研發(fā)目標(biāo)瞄準(zhǔn)了大數(shù)據(jù)應(yīng)用。無(wú)論是否研發(fā)出了有實(shí)質(zhì)性的軟件，但是在產(chǎn)品介紹的時(shí)候，宣傳的非常的炫酷，似乎沒(méi)有大數(shù)據(jù)解決不了的問(wèn)題。

那么到底大數(shù)據(jù)是什么呢？或者什么樣的數(shù)據(jù)才能稱得上大數(shù)據(jù)呢？

BIG DATA從誕生的時(shí)候并沒(méi)有嚴(yán)格的定義。大家第一印象對(duì)大數(shù)據(jù)的描述已經(jīng)比較準(zhǔn)確，那就是大，海量的數(shù)據(jù)！如果打印成紙張能夠把人淹沒(méi)。

有多少數(shù)據(jù)才算大數(shù)據(jù)？如果說(shuō)100G就醫(yī)記錄算不算大數(shù)據(jù)呢？大數(shù)據(jù)其實(shí)跟數(shù)據(jù)容量沒(méi)有關(guān)系。隨著技術(shù)的發(fā)展，現(xiàn)今一個(gè)患者的全身CT掃描產(chǎn)生的數(shù)據(jù)量就可以達(dá)到1G。100G數(shù)據(jù)不過(guò)是100個(gè)人的影像數(shù)據(jù)而已，算不上大數(shù)據(jù)。

可是如果這100G的數(shù)據(jù)完全是一條條的記錄匯聚而成，倒是算有些規(guī)模。不過(guò)也稱不上大數(shù)據(jù)，準(zhǔn)確的說(shuō)法應(yīng)當(dāng)是數(shù)據(jù)湖。盡管數(shù)據(jù)有了一定規(guī)模的積累，但是在運(yùn)用的時(shí)候還是不能夠準(zhǔn)確得出結(jié)論。因?yàn)閿?shù)據(jù)來(lái)源過(guò)于單一沒(méi)有廣泛的代表性。比如一個(gè)醫(yī)院就算是擁有了100G的診療記錄，但是患者都是當(dāng)?shù)鼗蛘咧苓叺娜恕Ｈ绱霜M小地域的數(shù)據(jù)是無(wú)法代表其他地方的疾病特征的（假以時(shí)日，北京的大型醫(yī)院匯總了足夠多的全國(guó)患者的數(shù)據(jù)的話，倒是有了充足的代表性）。再說(shuō)很難有普通單位或組織能夠擁有如此大規(guī)模的數(shù)據(jù)量，所以在普通的組織單位中是不存在所謂大數(shù)據(jù)的。

真正的大數(shù)據(jù)是存儲(chǔ)在政府、跨國(guó)企業(yè)以及像百度、騰訊、阿里巴巴這樣的巨型IT企業(yè)手里。他們的數(shù)據(jù)庫(kù)中儲(chǔ)存有來(lái)源于全國(guó)各地的，各式各樣的數(shù)據(jù)。其數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)不是TB級(jí)別的了。通過(guò)對(duì)如此大規(guī)模的數(shù)據(jù)中，服務(wù)器租用 免備案服務(wù)器，就可以很容易發(fā)現(xiàn)人們的購(gòu)買趨勢(shì)，消費(fèi)水平波動(dòng)，以及疾病流行情況等等。

總之大數(shù)據(jù)的的確確是存在的，但不是我們普通IT人能夠接觸到的。而我們身邊存在大量小數(shù)據(jù)，如果借助信息化手段對(duì)小數(shù)據(jù)進(jìn)行發(fā)掘，同樣是有許多可做之處的。

任何單位、組織、公司的數(shù)據(jù)規(guī)模都算是小數(shù)據(jù)。通過(guò)對(duì)其進(jìn)行分析既可以達(dá)到?jīng)Q策管理的目標(biāo)的，完全用不上大數(shù)據(jù)登場(chǎng)。從最常見(jiàn)的醫(yī)學(xué)研究來(lái)說(shuō)，對(duì)于某種疾病的對(duì)照實(shí)驗(yàn)，通常患者數(shù)量在幾十人到百十號(hào)人，如果能夠有上千人的研究樣本，就算放在國(guó)際學(xué)術(shù)研究中也是規(guī)模龐大的了。

隨著數(shù)據(jù)的增長(zhǎng)，收集數(shù)據(jù)的成本越高。比如查詢必須的資料，收集必備的人員信息，進(jìn)行人工隨訪等等。研發(fā)的信息系統(tǒng)能夠?qū)⑦@部分工作實(shí)現(xiàn)的很好，那無(wú)論對(duì)研究也好，決策也好都能有著積極的作用。

不過(guò)由于軟件工程師大多沒(méi)有接受過(guò)數(shù)據(jù)方面的培訓(xùn)，只是專注于IT技術(shù)的學(xué)習(xí)，所以在軟件研發(fā)的時(shí)候，并沒(méi)有數(shù)據(jù)的概念。導(dǎo)致最主要的后果是，某些在當(dāng)下或者外來(lái)需要使用的字段并沒(méi)有被囊括進(jìn)程序中，導(dǎo)致了數(shù)據(jù)的缺失。比如在醫(yī)院準(zhǔn)備進(jìn)行某個(gè)科研項(xiàng)目的統(tǒng)計(jì)，發(fā)現(xiàn)沒(méi)有一個(gè)系統(tǒng)記錄了核心字段，從而使得研究不得不回歸人工手段，花費(fèi)大量時(shí)間進(jìn)行增加與補(bǔ)充。

現(xiàn)在許多系統(tǒng)的作用也僅僅是實(shí)現(xiàn)了數(shù)據(jù)的記錄，香港服務(wù)器租用，從而證明在什么時(shí)間什么地點(diǎn)發(fā)生了什么。至于這些數(shù)據(jù)往往無(wú)法被進(jìn)一步加工分析。現(xiàn)有的應(yīng)用系統(tǒng)還有大量需要改進(jìn)的內(nèi)容，等待著軟件工程師實(shí)現(xiàn)。