欧美一区2区三区4区公司二百,国产精品婷婷午夜在线观看,自拍偷拍亚洲精品,国产美女诱惑一区二区

歡迎來到云服務器

大數據技術

如何使用HBase?大數據存儲的兩個實戰場景

HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,適用于結構化的存儲,底層依賴于Hadoop的HDFS,利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。因此HBase被廣泛使用在大數據存儲的解決方案中。

為何使用HBase

HBase的優點:

- 列可以動態增加,并且列為空就不存儲數據,節省存儲空間。

- Hbase自動切分數據,使得數據存儲自動具有水平scalability。

- Hbase可以提供高并發讀寫操作的支持。

如何使用HBase?大數據存儲的兩個實戰場景

HBase的缺點:

- 不能支持條件查詢,只支持按照Row key來查詢。

- HBase并不適合傳統的事物處理程序或關聯分析,不支持復雜查詢,一定程度上限制了它的使用,但是用它做數據存儲的優勢也同樣非常明顯。

因為HBase存儲的是松散的數據,所以如果你的應用程序中,數據表每一行的結構是有差別的,那么可以考慮使用HBase。因為HBase的列可以動態增加,并且列為空就不存儲數據,所以如果你需要經常追加字段,且大部分字段是NULL值的,那可以考慮HBase。因為HBase可以根據Rowkey提供高效的查詢,所以如果你的數據(包括元數據、消息、二進制數據等)都有著同一個主鍵,或者你需要通過鍵來訪問和修改數據使用HBase是一個很好地選擇。

如何使用HBase

場景一:賣家操作日志

賣家操作日志,顧名思義是用來記錄商家操作的系統,從而可以保證商家可以精確查詢自己的各種操作。京東有幾十萬的商家時時刻刻的進行著各種操作,因此賣家操作日志的特點是:數據量大、實時性強、增多查少。

如何使用HBase?大數據存儲的兩個實戰場景

如何使用HBase?大數據存儲的兩個實戰場景

我們在做賣家操作日志初期,將所有的操作日志存放在ES中,操作日志的數據量是非常大的,但尷尬的是我們當時所能申請到的ES資源有限。當把大量的數據存儲到有限的ES集群中時便導致了性能的下降。在這種情況下,我們選擇了只在ES集群中存儲最近三個月的數據,對其提供靈活的查詢,而長期的數據存儲使用HBase來進行。這樣的話我們便可以實現對近期操作靈活展現,對長期數據也有精確備份。

場景二:京麥消息日志的存儲

京麥消息日志的存儲是屬于京麥筋斗云系統(用于打造京麥消息生態系統閉環)不可或缺的一部分。其中包含消息的全鏈路追蹤以及消息的統計分析。京麥消息每天都會有幾千萬的消息量,如何對消息進行追蹤和統計便成為了一個至關重要的問題。消息追蹤要求實時性、多維度精確查詢,因此我們選擇將最近一周的消息日志存儲在ES。統計分析要求我們有足夠多的數據,因此我們在將數據存儲在ES中的同時也存儲在HBase中一份。最終再定期將HBase中的數據導入到京東的數據集市中,這樣我們便可以很方便的對京麥消息進行統計分析。

HBase的數據結構

如何使用HBase?大數據存儲的兩個實戰場景

使用HBase我們首先要了解HBase的數據結構:

HBase會存儲系列的行記錄,行記錄有三個基本類型的定義:Row Key、Time Stamp、Column Family。

Row Key

與NoSQL數據庫一樣,云服務器租用,Row Key是用來檢索記錄的主鍵。訪問HBase table中的行,只有三種方式:

通過單個Row Key訪問。

通過Row Key的range全表掃描。

Row Key可以是任意字符串(最大長度是64KB,實際應用中長度一般為 10 ~ 100bytes),在HBase內部,Row Key保存為字節數組。

存儲時,數據按照Row Key的字典序(byte order)排序存儲。設計Key時,要充分排序存儲這個特性,將經常一起讀取的行存儲到一起(位置相關性)。

Column Family

HBase表中每個列都必須屬于某個列族,列族必須作為表模式定義的一部分預先給出(有點像關系型數據庫中的列名,定義完一般情況下就不會再去修改);

列名以列族作為前綴,每個列族都可以有多個列成員。新的列族成員(也就是列)可以隨后按需,動態加入。

Hbase把同一列族里面的數據存儲在同一目錄下,由幾個文件保存。

Time Stamp

在HBase每個cell存儲單元對同一份數據有多個版本,根據唯一的時間戳來區分每個版本之間的差異,不同版本的數據按照時間倒序排序,最新的數據版本排在最前面。

簡述HBase的架構原理

1. HBase的模塊

如何使用HBase?大數據存儲的兩個實戰場景

Master

騰訊云代理

Copyright © 2003-2021 MFISP.COM. 國外vps服務器租用 夢飛云服務器租用 版權所有 ? 粵ICP備11019662號

主站蜘蛛池模板: 屏东县| 乌兰察布市| 开鲁县| 江门市| 榆林市| 安龙县| 右玉县| 柞水县| 木兰县| 遂宁市| 荃湾区| 道真| 天柱县| 富锦市| 平乡县| 石屏县| 邵阳市| 乌兰察布市| 乌鲁木齐县| 上高县| 岚皋县| 宜阳县| 剑阁县| 呼图壁县| 灌阳县| 日喀则市| 长治县| 德庆县| 织金县| 右玉县| 朔州市| 和政县| 维西| 临漳县| 瓦房店市| 佳木斯市| 行唐县| 遵义县| 陆川县| 克东县| 布拖县|