1：緩存和頁(yè)面靜態(tài)化

中國(guó)IDC圈4月14日?qǐng)?bào)道，數(shù)據(jù)量大這個(gè)問(wèn)題最直接的辦理方案就是利用緩存，緩存就是將從數(shù)據(jù)庫(kù)中獲取的功效臨時(shí)生存起來(lái)，在下次利用的時(shí)候無(wú)需從頭到數(shù)據(jù)庫(kù)中獲取，這樣可以大大低落數(shù)據(jù)庫(kù)的壓力。緩存的利用方法可以分為通過(guò)措施直接生存到內(nèi)存中和利用緩存框架兩種方法。措施直接操縱主要是利用Map，尤其是ConcurrentHashMap，而常用的緩存框架有Ehcache、Memcache和Redis等。緩存利用進(jìn)程中最重要問(wèn)題是什么時(shí)候建設(shè)緩存緩和存的失效機(jī)制。緩存的失效可以按期失效，也可以在數(shù)據(jù)產(chǎn)生變革的時(shí)候失效，假如按數(shù)據(jù)產(chǎn)生變革讓緩存失效，還可以分粗粒度失效和細(xì)粒度失效。不外緩存也不是什么環(huán)境都合用，它主要用于數(shù)據(jù)變革不是很頻繁的環(huán)境。

跟緩存相似的別的一種技能叫頁(yè)面靜態(tài)化，它在道理上跟緩存很是相似，緩存是將從數(shù)據(jù)庫(kù)中獲取到的數(shù)據(jù)(雖然也可以是此外任何可以序列化的對(duì)象)生存起來(lái)，而頁(yè)面靜態(tài)化是將措施最后生成的頁(yè)面生存起來(lái)，利用頁(yè)面靜態(tài)化后就不需要每次挪用都從頭生成頁(yè)面了，，這樣不單不需要查詢(xún)數(shù)據(jù)庫(kù)，并且連應(yīng)用措施處理懲罰都省了，所以頁(yè)面靜態(tài)化同時(shí)對(duì)數(shù)據(jù)量大和并發(fā)量高兩大問(wèn)題都有長(zhǎng)處。頁(yè)面靜態(tài)化可以在措施中利用模板技能生成，如常用的Freemarker和Velocity都可以按照模板生成靜態(tài)頁(yè)面，別的也可以利用緩存處事器在應(yīng)用處事器的上一層緩存生成的頁(yè)面，如可以利用Squid，別的Nginx也提供了相應(yīng)的成果。

2：數(shù)據(jù)庫(kù)優(yōu)化

數(shù)據(jù)庫(kù)優(yōu)化的要領(lǐng)很是多，常用的有表布局優(yōu)化、SQL語(yǔ)句優(yōu)化、分區(qū)和分表、索引優(yōu)化、利用存儲(chǔ)進(jìn)程取代直接操縱等，別的有時(shí)候公道利用冗余也能得到很是好的結(jié)果。

(1)SQL優(yōu)化

SQL優(yōu)化有一個(gè)通用的做法就是，首先要將涉及大數(shù)據(jù)的業(yè)務(wù)的SQL語(yǔ)句執(zhí)行時(shí)間具體記錄下來(lái)，其次通過(guò)仔細(xì)闡嫡志(同一條語(yǔ)句對(duì)差異條件的執(zhí)行時(shí)間也大概差異，這點(diǎn)也需要仔細(xì)闡明)找出需要優(yōu)化的語(yǔ)句和個(gè)中的問(wèn)題，然后再有的放矢地優(yōu)化。

(2)分區(qū)和分表

當(dāng)數(shù)據(jù)量變多的時(shí)候，假如可以分區(qū)可能分表，那將起到很是好的結(jié)果。當(dāng)一張表中的數(shù)據(jù)量變多的時(shí)候操縱速度就慢了，所以很容易想到的就是將數(shù)據(jù)分到多個(gè)表中生存，可是這么做之后操縱起來(lái)較量貧苦，想操縱(增刪改查)一個(gè)數(shù)據(jù)還需要先找到對(duì)應(yīng)的表，假如涉及多個(gè)表還得跨表操縱。其實(shí)在常用的數(shù)據(jù)庫(kù)中可以不分表而到達(dá)跟分表雷同的結(jié)果，那就是分區(qū)。分區(qū)就是將一張表中的數(shù)據(jù)憑據(jù)必然的法則分到差異的區(qū)來(lái)生存，這樣在查詢(xún)數(shù)據(jù)時(shí)假如數(shù)據(jù)的范疇在同一個(gè)區(qū)內(nèi)那么可以只對(duì)一個(gè)區(qū)的數(shù)據(jù)舉辦操縱，這樣操縱的數(shù)據(jù)量更少，速度更快，并且這種要領(lǐng)對(duì)措施是透明的，措施不需要做任何竄改。

(3)索引優(yōu)化

索引的大抵道理是在數(shù)據(jù)產(chǎn)生變革(增刪改)的時(shí)候就預(yù)先按指定字段的順序分列后生存到一個(gè)雷同表的布局中，這樣在查找索引字段為條件的記錄時(shí)就可以很快地從索引中找到對(duì)應(yīng)記錄的指針并從表中獲取到記錄，這樣速度就快多了。不外索引也是一把雙刃劍，它在提高查詢(xún)速度的同時(shí)也低落了增刪改的速度，因?yàn)槊看螖?shù)據(jù)的變革都需要更新相應(yīng)的索引。不外公道利用索引對(duì)晉升查詢(xún)速度的結(jié)果很是明明，所以哪些字段利用索引、利用什么范例的索引都需要仔細(xì)琢磨，而且最好再做一些測(cè)試。

(4)存儲(chǔ)進(jìn)程

在操縱進(jìn)程巨大并且挪用頻率高的業(yè)務(wù)中，可以通過(guò)利用存儲(chǔ)進(jìn)程取代直接操縱來(lái)提高效率，因?yàn)榇鎯?chǔ)進(jìn)程只需要編譯一次，并且可以在一個(gè)存儲(chǔ)進(jìn)程內(nèi)里做一些巨大的操縱。

3:疏散活潑數(shù)據(jù)

通過(guò)一個(gè)按期處理懲罰的任務(wù)將不活潑的用戶(hù)轉(zhuǎn)移到此外數(shù)據(jù)表中，在主要操縱的數(shù)據(jù)表中只生存活潑用戶(hù)，查詢(xún)時(shí)先從默認(rèn)表中查找，假如找不到再?gòu)牟换顫娪脩?hù)表中查找，這樣就可以提高查詢(xún)的效率

4:批量讀取和延遲修改

批量讀取和延遲修改的道理是通過(guò)淘汰操縱的次數(shù)來(lái)提高效率，假如利用得得當(dāng)，效率將會(huì)呈數(shù)量級(jí)晉升。

假如每生存一筆記錄都查詢(xún)一次數(shù)據(jù)庫(kù)，那么對(duì)每個(gè)需要查抄的字段，都需要查詢(xún)與要生存的記錄條數(shù)溝通次數(shù)的數(shù)據(jù)庫(kù)，這時(shí)可以先將所有要生存的數(shù)據(jù)的相應(yīng)字段讀取到一個(gè)變量中，然后利用in語(yǔ)句統(tǒng)一查詢(xún)一次數(shù)據(jù)庫(kù)，這樣就可以將n(要生存記錄的條數(shù))次查詢(xún)變?yōu)橐淮尾樵?xún)了。除了這種對(duì)同一個(gè)請(qǐng)求中的數(shù)據(jù)批量讀取，在高并發(fā)的環(huán)境下還可以將多個(gè)請(qǐng)求的查詢(xún)歸并到一次舉辦。