大數據需要學習什么？很多人問過我這個問題。每一次回答完都覺得自己講得太片面了，總是沒有一個合適的契機去好好總結這些內容，直到開始寫這篇東西。大數據是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷涌現，想要保持自己競爭力的唯一辦法就是不斷學習。
大數據需要的語言 Java
java可以說是大數據最基礎的編程語言，據我這些年的經驗，我接觸的很大一部分的大數據開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大數據開發的，逆了個天）。
一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，后臺開發很容易接觸到大數據量存取的應用場景 二就是java語言本事了，天然的優勢，因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然后去啃源碼。
說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看源碼解決問題的時候你會發現源碼真香。
Python和Shell
shell應該不用過多的介紹非常的常用，屬于程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫一些復雜的且shell難以實現的日常腳本。
分布式計算
什么是分布式計算？分布式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多服務器進行處理，最后把這些計算結果綜合起來得到最終的結果。
舉個栗子，就像是組長把一個大項目拆分，讓組員每個人開發一部分，最后將所有人代碼merge，大項目完成。聽起來好像很簡單，但是真正參與過大項目開發的人一定知道中間涉及的內容可不少。
比如這個大項目如何拆分？任務如何分配？每個人手頭已有工作怎么辦？每個人能力不一樣怎么辦？每個人開發進度不一樣怎么辦？開發過程中組員生病要請長假他手頭的工作怎么辦？指揮督促大家干活的組長請假了怎么辦？最后代碼合并過程出現問題怎么辦？項目延期怎么辦？項目最后黃了怎么辦？
仔細想想上面的奪命十連問，其實每一條都是對應了分布式計算可能會出現的問題，具體怎么對應大家思考吧我就不多說了，其實已經是非常明顯了。也許有人覺得這些問題其實在多人開發的時候都不重要不需要特別去考慮怎么辦，但是在分布式計算系統中不一樣，每一個都是非常嚴重并且非?；A的問題，需要有很好的解決方案。
最后提一下，云服務器租用，分布式計算目前流行的工具有：
離線工具Spark，MapReduce等 實時工具Spark Streaming，Storm，Flink等
這幾個東西的區別和各自的應用場景我們之后再聊。
分布式存儲
傳統的網絡存儲系統采用的是集中的存儲服務器存放所有數據，單臺存儲服務器的io能力是有限的，這成為了系統性能的瓶頸，同時服務器的可靠性和安全性也不能滿足需求，尤其是大規模的存儲應用。
分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。采用的是可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。
上圖是hdfs的存儲架構圖，hdfs作為分布式文件系統，兼備了可靠性和擴展性，服務器租用 免備案服務器，數據存儲3份在不同機器上（兩份存在同一機架，一份存在其他機架）保證數據不丟失。由NameNode統一管理元數據，可以任意擴展集群。
主流的分布式數據庫有很多hbase，mongoDB，GreenPlum，redis等等等等，沒有孰好孰壞之分，只有合不合適，每個數據庫的應用場景都不同，其實直接比較是沒有意義的，后續我也會有文章一個個講解它們的應用場景原理架構等。
分布式調度與管理
現在人們好像都很熱衷于談"去中心化"，也許是區塊鏈帶起的這個潮流。但是"中心化"在大數據領域還是很重要的，至少目前來說是的。
分布式的集群管理需要有個組件去分配調度資源給各個節點，這個東西叫yarn; 需要有個組件來解決在分布式環境下"鎖"的問題，這個東西叫zookeeper； 需要有個組件來記錄任務的依賴關系并定時調度任務，這個東西叫azkaban。
當然這些“東西”并不是唯一的，其實都是有很多替代品的，我這里只舉了幾個比較常用的例子。
關于spark和Scala
scala和java很相似都是在jvm運行的語言，在開發過程中是可以無縫互相調用的。
Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,
這兩個東西大家應該都知道，它們的強勢發展直接帶動了Scala在這個領域的流行。
1. Scala 入門
Scala的基礎語法、編譯環境、常用類型、聲明等
Scala的行、字符、二進制與文本文件的讀取與寫入
2. Scala 的函數式編程
Scala的控制結構（賦值、條件、循環、輸入輸出）與函數（參數與過程）
Scala的數組操作（定義、遍歷、轉換）及常用算法
3. Scala 的面向對象編程
Scala的類和對象構造與繼承、重寫、抽象、轉換，
類與對象中特質的屬性與使用，包的使用與引入
4. Scala的高級基礎一
Scala的操作符調用與重載，集合的處理，高階函數與類型函數
5. Scala的高級基礎二
Scala解釋器的使用，高級類型與類庫（actor，akka），對象式模塊化編程
