今年11.11，京東數據中心操作系統（JDOS）阿基米德已經全面接管了應用資源調度。每日調度百萬臺容器實例運轉，每日為離線計算提供了多達3000萬核。小時的計算資源，SLA履約率達到98.3%.在保證業務的正常運行下，集群的平均資源利用率提升3倍。僅在11.11備戰期間，通過資源調度節省數億元服務器采購成本。本文對京東阿基米德項目的架構和核心技術進行分享，希望能為業界提供一些參考。
另外，由InfoQ舉辦的ArchSummit全球架構師峰會即將于12月8-11日北京舉行，大會與阿里巴巴合作策劃了雙11架構專場，并邀請了頂級技術專家擔任出品人，設置了“新一代DevOps”、“人工智能與業務應用”、“架構升級與優化”等17個熱門話題，目前大會日程已出，歡迎前來討論交流。
調度困境
JDOS（Jingdong Datacenter Operating System） 2.0于2016年推出，基于kubernetes進行了深度定制，并在國內率先將kubernetes引入大規模生產環境，經歷了2017年618的考驗，逐步完善了內核、網絡、存儲、監控、鏡像中心等生態建設后，調度系統的優化逐漸提上了日程。在長期的容器運營過程中，團隊積累了大量的監控數據，也發現了很多痛點。
·京東有大量的服務器資源，而資源使用不夠充分。
·在大促前各個業務主要靠新增機器來應對高峰瞬時流量。
·應用業務系統資源申請量和使用量之間差距巨大。
·資源使用呈現明顯的高峰低谷，不同的機器的資源使用率差距較大。
·資源碎片導致的資源浪費嚴重。
對于以上種種問題，簡單的調度分配資源算法已經無法滿足復雜的調度需求，阿基米德項目應運而生。阿基米德項目是作為JDOS的核心調度組件，是撬動整個數據中心的支點，負責整個京東數據中心的資源調度與驅逐。
應用畫像
應用對于資源的使用存在一定的規律。一般常規的做法是將其對于資源使用的特點，分為計算密集型、內存密集型、存儲密集型等。這種簡單的做法無法從CPU/內存/存儲/網絡多個資源維度和時間維度上對于資源的使用進行描述。我們采用了強化機器學習算法，根據應用的歷史數據，提取其資源使用的特征，進而將不同的應用進行歸類，形成應用畫像。
應用畫像可以為調度提供依據。不同的應用根據應用畫像的結果，進行親和/反親和的調度，將不同類的應用容器調度在一起，使其資源需求得到時空互補，而不會相互影響。同時對于一個應用中多個容器，可以依據應用畫像對容器的健康狀態進行評估預警，及早進行容器的自動擴容或者遷移，以免影響業務。另外，應用畫像還為之后應用的資源使用提出指導意見，以便其在保證資源使用的同時，防止資源超配導致的浪費。
Serverless與延遲容忍
在以往的技術架構中，大量的業務應用屬于長期服務（long-running services），其特點是需要長時間提供服務。而實際上，許多應用并不需要長期提供服務。以圖片轉換應用為例，商戶上傳的商品圖片需要轉換成多種尺寸，東莞機房托管 ，并在圖片中打上水印/logo等，并上傳到存儲中。圖片轉換應用只需要在用戶上傳圖片時提供服務，其他時間并不需要占用資源；而且應用對于延遲不敏感，允許最長幾十秒級別的延遲執行。對于這種事件驅動、延遲容忍的應用，我們推動其由長期服務，美國網站空間 香港網頁寄存，轉向使用JDOS提供的serverless架構。serverless的架構在將長期服務轉為離線計算任務方面發揮了巨大的作用。
serverless的應用任務和大數據的離線計算任務，抽象為統一的批處理任務（batch jobs）。批處理任務提交到阿基米德時，需要提供任務描述，描述內容包括任務函數、任務類型、資源描述以及任務的延遲容忍時間等，由阿基米德進行調度執行。延遲容忍時間是指該任務可以容忍的最長延遲執行時間。也就是說任務提交后不必立即執行，可以容忍一定時間后才獲得資源執行，這就為阿基米德的調度規劃提供了重要依據，以便其提前進行流水線編排規劃。
資源碎片與時空復用
不同批次采購的服務器的資源配比不同，而不同的應用申請的資源配比也不同。基于資源適配的調度算法容易導致一臺服務器上的CPU的配額已經分配完畢，但是內存還空余幾十GB或者內存分配完畢，CPU還空余幾核。這種情況我們稱之為資源碎片。
