一、 自動(dòng)化理念

做好自動(dòng)化運(yùn)維在我看來是有兩個(gè)重要抓手：流程和工具，做好這兩點(diǎn)基本就可以將自動(dòng)化運(yùn)維順暢跑起來。總結(jié)起來是：流程梳理好，工具是手段。

我們都知道羅馬不是一天建成的，所以我們在建設(shè)運(yùn)維自動(dòng)化平臺(tái)時(shí)也要遵循循序漸進(jìn)的原則，但大方向要清楚，互聯(lián)網(wǎng)講究敏捷開發(fā)，好產(chǎn)品是不斷迭代出來的。

放一張藍(lán)圖，朝著目標(biāo)前進(jìn)！

圖 1 運(yùn)維自動(dòng)化概貌

二、 自動(dòng)化實(shí)踐

我挑選了幾個(gè)典型產(chǎn)品給大家做分享。

1. CMDB

1.1 CMDB的意義——降低運(yùn)維管理成本

現(xiàn)在很多公司互聯(lián)網(wǎng)公司不惜投入重金建設(shè)自己的CMDB，那為什么要這樣做呢？早期的各個(gè)團(tuán)隊(duì)維護(hù)自己的數(shù)據(jù)已經(jīng)很穩(wěn)定而且比較靈活，引入CMDB及ITIL的概念，不但會(huì)打破原有的操作習(xí)慣，而且在系統(tǒng)建設(shè)初期會(huì)有大量的數(shù)據(jù)導(dǎo)入和使用習(xí)慣切換成本。我覺得這其實(shí)是權(quán)衡現(xiàn)金系統(tǒng)理念的成本和收益問題。公司早期的各個(gè)團(tuán)隊(duì)維護(hù)自己數(shù)據(jù)，可以較好的滿足業(yè)務(wù)需求，但當(dāng)數(shù)據(jù)量越來越大，業(yè)務(wù)越來越復(fù)雜，數(shù)據(jù)管理成本是急速上升的。這時(shí)候在使用傳統(tǒng)的運(yùn)維數(shù)據(jù)管理方式，恐怕很難支持業(yè)務(wù)發(fā)展。 

圖 2 數(shù)據(jù)管理成本

1.2 CMDB定位

國美云對CMDB的定位是數(shù)據(jù)中心運(yùn)維數(shù)據(jù)庫。運(yùn)維公共配置信息存放在CMDB，其他子系統(tǒng)維護(hù)特定業(yè)務(wù)數(shù)據(jù)，但與CMDB信息有強(qiáng)關(guān)聯(lián)。 

圖 3 國美云產(chǎn)品 1.3 CMDB建設(shè)

CMDB數(shù)據(jù)來源主要分兩種，人工錄入和自動(dòng)發(fā)現(xiàn)。 

圖 4 CMDB數(shù)據(jù)來源

從存儲(chǔ)數(shù)據(jù)來看，包括以下方面：

圖 5 CMDB存儲(chǔ)數(shù)據(jù)

主機(jī)數(shù)據(jù)建設(shè)

主機(jī)管理模塊，用戶可以通過綜合搜索功能快速快速查詢相關(guān)信息，具備服務(wù)器、網(wǎng)絡(luò)設(shè)備錄入和自動(dòng)發(fā)現(xiàn)功能。

應(yīng)用數(shù)據(jù)建設(shè)

建立服務(wù)樹，確立人——應(yīng)用——機(jī)器的關(guān)系，將人和項(xiàng)目進(jìn)行關(guān)聯(lián)，項(xiàng)目與資源關(guān)聯(lián)。

資源數(shù)據(jù)建設(shè)

包括網(wǎng)段管理、機(jī)房管理、應(yīng)用管理、機(jī)型管理，從IDC、機(jī)柜到服務(wù)器、網(wǎng)絡(luò)設(shè)備等硬件信息再到網(wǎng)段、IP、操作系統(tǒng)等軟件層次都納入cmdb統(tǒng)一管理，以此作為云平臺(tái)的數(shù)據(jù)中心，做到數(shù)據(jù)一致性，并對外提供數(shù)據(jù)服務(wù) 。

IDC 機(jī)柜視圖： 

圖 6 機(jī)柜視圖

1.4 數(shù)據(jù)消費(fèi)

數(shù)據(jù)消費(fèi)是CMDB最大的價(jià)值所在，CMDB的目的不是為了建立大而統(tǒng)一的數(shù)據(jù)倉庫，而是如何將收集來的數(shù)據(jù)進(jìn)行消費(fèi)，并在消費(fèi)的過程中逐步完善數(shù)據(jù)。以下是一些實(shí)踐應(yīng)用：

1.與堡壘機(jī)聯(lián)動(dòng)，應(yīng)用增加機(jī)器時(shí)自動(dòng)對負(fù)責(zé)人授權(quán)

2.與負(fù)載均衡系統(tǒng)聯(lián)動(dòng)，實(shí)現(xiàn)灰度發(fā)布

3.與監(jiān)控系統(tǒng)聯(lián)動(dòng)，通過修改機(jī)器狀態(tài)打開、關(guān)閉報(bào)警，方便維護(hù)或做變更，并通過匯聚監(jiān)控?cái)?shù)據(jù)對應(yīng)用集群的資源利用率產(chǎn)生報(bào)表

1.5 問題與挑戰(zhàn)

1.5.1 數(shù)據(jù)準(zhǔn)確性維護(hù)，數(shù)據(jù)的非正常變更 相信人or相信程序？

可以說數(shù)據(jù)準(zhǔn)確性是CMDB的最大難題，如何提高數(shù)據(jù)的準(zhǔn)確性呢？有效的方法就是通過自動(dòng)檢測和人工審核，另外還需要建立一些標(biāo)準(zhǔn)，比如運(yùn)維標(biāo)準(zhǔn)來禁止非標(biāo)操作。

對于很容易判斷對錯(cuò)的數(shù)據(jù)來說，檢測腳本可以自動(dòng)訂正數(shù)據(jù)，比如宿主機(jī)上資源剩余量。有些則需要人工確認(rèn)后才可以更改的，比如IP的探測，有些IP被不守規(guī)矩的人配置了但沒在CMDB標(biāo)志，探測到IP通后需要人工介入才知道具體是哪個(gè)應(yīng)用使用。

1.5.2 性能挑戰(zhàn)

作為一個(gè)數(shù)據(jù)中心，應(yīng)對各種各樣數(shù)據(jù)請求是基本功，有些請求比較簡單，有些查詢要求比較高，比如監(jiān)控系統(tǒng)，當(dāng)CMDB中的應(yīng)用和機(jī)器變化都要及時(shí)推送給監(jiān)控系統(tǒng)，還有一些經(jīng)常查詢的數(shù)據(jù)，可以放到Redis中以減輕CMDB的壓力。

CMDB作為數(shù)據(jù)中心，除了提供查詢數(shù)據(jù)還有分配數(shù)據(jù)的能力，比如IP地址的分配，這時(shí)要充分考慮高并發(fā)的情況。對此我們采用了樂觀鎖的方式解決這個(gè)問題，防止IP地址被重復(fù)分配。

1.5.3 其他數(shù)據(jù)處理方式