大數(shù)據(jù)時(shí)代已經(jīng)來臨，利用網(wǎng)絡(luò)和生活中產(chǎn)生的大量數(shù)據(jù)發(fā)現(xiàn)問題并創(chuàng)造價(jià)值，使得數(shù)據(jù)挖掘成了一門新的學(xué)科和技術(shù)。那么什么是大數(shù)據(jù)挖掘，數(shù)據(jù)挖掘的過程是什么，以及它的具體算法又有哪些?今天這篇文章，將帶你一起了解數(shù)據(jù)挖掘的那些事兒。
01、首先，數(shù)據(jù)挖掘到底是什么?
官方的定義，數(shù)據(jù)挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。
通俗易懂的說，數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中，發(fā)現(xiàn)那些我們想要的“東西”。
02 這個(gè)“東西”具體指什么?
一種被稱為預(yù)測任務(wù)。
也就是說給了一定的目標(biāo)屬性，讓去預(yù)測目標(biāo)的另外一特定屬性。如果該屬性是離散的，通常稱之為‘分類’，而如果目標(biāo)屬性是一個(gè)連續(xù)的值，則稱之為‘回歸’。
另一種被稱為描述任務(wù)。
這是指找出數(shù)據(jù)間潛在的聯(lián)系模式。比方說兩個(gè)數(shù)據(jù)存在強(qiáng)關(guān)聯(lián)的關(guān)系，像大數(shù)據(jù)分析發(fā)現(xiàn)的一個(gè)特點(diǎn)：買尿布的男性通常也會(huì)買點(diǎn)啤酒，那么商家根據(jù)這個(gè)可以將這兩種商品打包出售來提高業(yè)績。另外一個(gè)非常重要的就是聚類分析，這也是在日常數(shù)據(jù)挖掘中應(yīng)用非常非常頻繁的一種分析，旨在發(fā)現(xiàn)緊密相關(guān)的觀測值組群，可以在沒有標(biāo)簽的情況下將所有的數(shù)據(jù)分為合適的幾類來進(jìn)行分析或者降維。
其他的描述任務(wù)還有異常檢測，其過程類似于聚類的反過程，聚類將相似的數(shù)據(jù)聚合在一起，而異常檢測將離群太遠(yuǎn)的點(diǎn)給剔除出來。
03 數(shù)據(jù)挖掘的一般過程包括以下幾個(gè)方面：
數(shù)據(jù)預(yù)處理 數(shù)據(jù)挖掘 后處理
首先來說說數(shù)據(jù)預(yù)處理。之所以有這樣一個(gè)步驟，是因?yàn)橥ǔ５?a href="http://m.qzkangyuan.com/cnidc/idcnews/scqb/2017/16035.html">數(shù)據(jù)挖掘需要涉及相對較大的數(shù)據(jù)量，這些數(shù)據(jù)可能來源不一導(dǎo)致格式不同，可能有的數(shù)據(jù)還存在一些缺失值或者無效值，如果不經(jīng)處理直接將這些‘臟’數(shù)據(jù)放到模型中去跑，非常容易導(dǎo)致模型計(jì)算的失敗或者可用性很差，所以數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘過程中都不可或缺的一步。
至于數(shù)據(jù)挖掘和后處理相對來說就容易理解多了。完成了數(shù)據(jù)的預(yù)處理，，我們通常進(jìn)行特征構(gòu)造，然后放到特定的模型中去計(jì)算，利用某種標(biāo)準(zhǔn)去評判不同模型或組合模型的表現(xiàn)，免備案主機(jī)，最后確定一個(gè)最合適的模型用于后處理。后處理的過程相當(dāng)于已經(jīng)發(fā)現(xiàn)了那個(gè)我們想要找到的結(jié)果，然后去應(yīng)用它或者用合適的方式將其表示出來。
這里涉及到數(shù)據(jù)挖掘的一系列算法，主要分為分類算法，聚類算法和關(guān)聯(lián)規(guī)則三大類，這三類基本上涵蓋了目前商業(yè)市場對算法的所有需求。而這三類里，最為經(jīng)典的則是下面這十大算法。
1、分類決策樹算法C4.5
C4.5，是機(jī)器學(xué)習(xí)算法中的一種分類決策樹算法，它是決策樹(決策樹，就是做決策的節(jié)點(diǎn)間的組織方式像一棵倒栽樹)核心算法ID3的改進(jìn)算法。
2、K平均算法
K平均算法(k-means algorithm)是一個(gè)聚類算法，把n個(gè)分類對象根據(jù)它們的屬性分為k類(k
3、支持向量機(jī)算法
支持向量機(jī)(Support Vector Machine)算法，簡記為SVM，是一種監(jiān)督式學(xué)習(xí)的方法，廣泛用于統(tǒng)計(jì)分類以及回歸分析中。
4、The Apriori algorithm
Apriori算法是一種最有影響的挖掘布爾關(guān)聯(lián)規(guī)則頻繁項(xiàng)集的算法，其核心是基于兩階段“頻繁項(xiàng)集”思想的遞推算法。其涉及到的關(guān)聯(lián)規(guī)則在分類上屬于單維、單層、布爾關(guān)聯(lián)規(guī)則。
5、最大期望(EM)算法
最大期望(EM，Expectation–Maximization)算法是在概率模型中尋找參數(shù)最大似然估計(jì)的算法，其中概率模型依賴于無法觀測的隱藏變量。最大期望經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚領(lǐng)域。
6、Page Rank算法
Page Rank根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量，衡量網(wǎng)站的價(jià)值。
7、Ada Boost 迭代算法
Ada boost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器(強(qiáng)分類器)。
8、kNN 最近鄰分類算法
K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個(gè)理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。
9、Naive Bayes 樸素貝葉斯算法
