作者經過研發多個大數據產品，將自己形成關于大數據知識體系的干貨分享出來，希望給大家能夠快速建立起大數據產品的體系思路，讓大家系統性學習和了解有關大數據的設計架構。

很多人都看過不同類型的書，也接觸過很多有關大數據方面的文章，但都是很零散不成系統，對自己也沒有起到多大的作用，所以作者第一時間，帶大家從整體體系思路上，了解大數據產品設計架構和技術策略。

大數據產品，從系統性和體系思路上來做，主要分為五步：

針對前端不同渠道進行數據埋點，然后根據不同渠道的采集多維數據，也就是做大數據的第一步，沒有全量數據，何談大數據分析;

第二步，基于采集回來的多維度數據，采用ETL對其各類數據進行結構化處理及加載;

然后第三步，對于ETL處理后的標準化結構數據，建立數據存儲管理子系統，歸集到底層數據倉庫，這一步很關鍵，基于數據倉庫，對其內部數據分解成基礎的同類數據集市;

然后基于歸集分解的不同數據集市，利用各類R函數包對其數據集進行數據建模和各類算法設計，里面算法是需要自己設計，個別算法可以用R函數，這個過程產品和運營參與最多;這一步做好了，也是很多公司用戶畫像系統的底層。

最后根據建立的各類數據模型及算法，結合前端不同渠道不同業務特征，根據渠道觸點自動匹配后端模型自動展現用戶個性化產品和服務。

建立系統性數據采集指標體系

建立數據采集分析指標體系是形成營銷數據集市的基礎，也是營銷數據集市覆蓋用戶行為數據廣度和深度的前提，數據采集分析體系要包含用戶全活動行為觸點數據，用戶結構化相關數據及非結構化相關數據，根據數據分析指標體系才能歸類匯總形成篩選用戶條件的屬性和屬性值，也是發現新的營銷事件的基礎。

構建營銷數據指標分析模型，完善升級數據指標采集，依托用戶全流程行為觸點，建立用戶行為消費特征和個體屬性，從用戶行為分析、商業經營數據分析、營銷數據分析三個維度，形成用戶行為特征分析模型。用戶維度數據指標是不同維度分析要素與用戶全生命周期軌跡各觸點的二維交叉得出。

目前做大數據平臺的公司，大多數采集的數據指標和輸出的可視化報表，都存在幾個關鍵問題：

采集的數據都是以渠道、日期、地區統計，無法定位到具體每個用戶;

計算統計出的數據都是規模數據，針對規模數據進行挖掘分析，無法支持;

數據無法支撐系統做用戶獲客、留存、營銷推送使用;

所以，要使系統采集的數據指標能夠支持平臺前端的個性化行為分析，必須圍繞用戶為主線來進行畫像設計，在初期可視化報表成果基礎上，將統計出來的不同規模數據，細分定位到每個用戶，使每個數據都有一個用戶歸屬。

將分散無序的統計數據，在依據用戶來銜接起來，在現有產品界面上，每個統計數據都增加一個標簽，點擊標簽，可以展示對應每個用戶的行為數據，同時可以鏈接到其他統計數據頁面。

由此可以推導出，以用戶為主線來建立數據采集指標維度：用戶身份信息、用戶社會生活信息、用戶資產信息、用戶行為偏好信息、用戶購物偏好、用戶價值、用戶反饋、用戶忠誠度等多個維度，依據建立的采集數據維度，可以細分到數據指標或數據屬性項。

① 用戶身份信息維度

性別，年齡，星座，居住城市，活躍區域，證件信息，學歷，收入，主機托管 深圳電信托管，健康等。

② 用戶社會生活信息維度

行業，職業，是否有孩子，孩子年齡，車輛，住房性質，通信情況，流量使用情況……

③ 用戶行為偏好信息

是否有網購行為，風險敏感度，價格敏感度，品牌敏感度，收益敏感度，產品偏好，渠道偏好……

④ 用戶購物偏好信息

品類偏好，產品偏好，購物頻次，瀏覽偏好，營銷廣告喜好，購物時間偏好，單次購物最高金額……

⑤ 用戶反饋信息維度

用戶參與的活動，參與的討論，收藏的產品，購買過的商品，推薦過的產品，評論過的產品……

基于采集回來的多維度數據，采用ETL對其各類數據進行結構化處理及加載

數據補缺：對空數據、缺失數據進行數據補缺操作，無法處理的做標記。

數據替換：對無效數據進行數據的替換。

格式規范化：將源數據抽取的數據格式轉換成為便于進入倉庫處理的目標數據格式。

主外鍵約束：通過建立主外鍵約束，對非法數據進行數據替換或導出到錯誤文件重新處理。

數據合并：多用表關聯實現(每個字段加索引，保證關聯查詢的效率)

數據拆分：按一定規則進行數據拆分

行列互換、排序/修改序號、去除重復記錄

數據處理層 由 hadoop集群 組成 , Hadoop集群從數據采集源讀取業務數據，通過并行計算完成業務數據的處理邏輯，將數據篩選歸并形成目標數據。

數據建模、用戶畫像及特征算法