大數據技術的體系龐大且復雜，基礎的技術包含數據的采集、數據預處理、分布式存儲、NoSQL數據庫、數據倉庫、機器學習、并行計算、可視化等各種技術范疇和不同的技術層面。通用化的大數據處理框架，主要分為下面幾個方面：大數據采集與預處理、大數據存儲、大數據清洗、大數據查詢分析和大數據可視化。
一、大數據采集
大數據采集，即對各種來源的結構化和非結構化海量數據，所進行的采集。
數據庫采集：流行的有Sqoop和ETL，傳統的關系型數據庫MySQL和Oracle 也依然充當著許多企業的數據存儲方式。當然了，目前對于開源的Kettle和Talend本身，也集成了大數據集成內容，可實現hdfs，hbase和主流Nosq數據庫之間的數據同步和集成。
網絡數據采集：一種借助網絡爬蟲或網站公開API，從網頁獲取非結構化或半結構化數據，并將其統一結構化為本地數據的數據采集方式。
文件采集：包括實時文件采集和處理技術flume、基于ELK的日志采集和增量采集等等。
二、大數據預處理
大數據預處理，指的是在進行數據分析之前，先對采集到的原始數據所進行的諸如“清洗、填補、平滑、合并、規格化、一致性檢驗”等一系列操作，旨在提高數據質量，為后期分析工作奠定基礎。數據預處理主要包括四個部分：數據清理、數據集成、數據轉換、數據規約。
三、大數據儲存
大數據每年都在激增龐大的信息量,加上已有的歷史數據信息,對整個業界的數據存儲、處理帶來了很大的機遇與挑戰.為了滿足快速增長的存儲需求,云存儲需要具備高擴展性、高可靠性、高可用性、低成本、自動容錯和去中心化等特點.常見的云存儲形式可以分為分布式文件系統和分布式數據庫。其中,分布式文件系統采用大規模的分布式存儲節點來滿足存儲大量文件的需求,而分布式的NoSQL數據庫則為大規模非結構化數據的處理和分析提供支持。
四、大數據清洗
MapReduce作為Hadoop的查詢引擎，用于大規模數據集的并行計算，”Map（映射）”和”Reduce（歸約）”，是它的主要思想。它極大的方便了編程人員在不會分布式并行編程的情況下，云主機租用，將自己的程序運行在分布式系統中。隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。
五、大數據查詢分析
Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張數據庫表，并提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴于HDFS和MapReduce。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapReduce jobs，香港服務器，然后在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapReduce程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapReduce 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。
六、大數據可視化
大規模數據的可視化主要是基于并行算法設計的技術，合理利用有限的計算資源，高效地處理和分析特定數據集的特性。通常情況下，大規模數據可視化的技術會結合多分辨率表示等方法，以獲得足夠的互動性能。 在科學大規模數據的并行可視化工作中，主要涉及數據流線化、任務并行化、管道并行化和數據并行化4 種基本技術。
