一是發展環境持續優化。國家層面《促進大數據發展行動綱要》等文件,加快落地實施國家大數據綜合實驗區公共信息資源開放,有關大數據的相關政策和文件。多層次協同推進大數據發展的管理,應該說已經基本形成。
在DaaS層,由數據集成、數據治理、數據處理、數據服務組成,覆蓋數據從產生、傳輸、存儲、初加工、細加工到應用及銷毀的全生命周期。以數據資源為核心的理念,充分利用云平臺基礎設施與云平臺提供的各類計算服務,對業務各種來源的各種類別數據進行整合匯集、存儲組織、分析處理以及標準化管理,并以服務、接口等形式提供給上層各類應用。在數據集成階段,能夠接受不同數據源(如內網數據庫、行業文件庫、應用系統日志等)和不同數據類型(結構化數據、非結構化數據、半結構化數據等),并提供集成工具及數據格式轉換工具實現數據標準化,上層應用可無差別地調用各類數據。數據集成之后會進入數據治理環節,實現數據類別規劃(定義不同安全要求等級數據不同的訪問權限及方式)、數據質量管理(劃分數據質量等級及存儲方式)、數據倉庫(可根據業務維度劃分)及數據服務總線(提供數據訪問控制)。而數據處理層則負責提供面向業務的各類功能引擎(檔案引擎、索引引擎、對比引擎、分析引擎及計算引擎等)及相應的調度服務,上層應用可通過提交任務形式調用以上引擎服務,輕松實現數據的并發異步調用。數據是企業的重要資產,為最大化提高數據的價值,平臺對外提供數據資產運營中心,實現數據資產超市、數據資產管理、數據共享交換機數據價值評估。上述所有數據加工環節,均以RPC或API接口方式對應用開放服務,以專業的數據服務使得應用層能更加聚焦業務的孵化和加速。
二是產業生產加速,技術創新不斷取得新突破。涌現出一批有帶動力和影響力的龍頭企業,以及眾多創新特色輸出的中小企業,上下游企業密切互動的產業格局初步形成。
大數據產業的迅速發展,使得各行各業的企事業單位的業務產生大量數據。傳統的云平臺通常采用IaaS-PaaS-SaaS(亦即基礎設施即服務-平臺即服務-應用即服務)三層解耦方式部署,不同層、不同應用、不同租戶的數據的整個生命周期都是孤立的,這種方式在一定程度上存在與業務關聯性不足、數據管理混亂、無法做到數據共享及隔離等問題,隨著平臺的擴展,數據會呈現指數級上升,而運維、運營難度亦陡然增加,企業云與大數據融合和治理迫在眉睫。
浪潮將云平臺與大數據深度融合,增加大數據服務層(DaaS),實現平臺內部自下而上所有數據的整合和治理,IaaS、PaaS、DaaS、SaaS統一權限管理,并以統一目錄方式對租戶提供服務。
當今世界,網絡信息技術日新月異,大數據等新一代信息技術的出現,推動智慧產業、智能產業、各類大腦等應運而生,推動社會從信息科技時代進入智能科技時代。
在IaaS層,使用浪潮云海平臺InCloud OpenStack及大數據平臺InCloud Insight實現物理設備(服務器、存儲、網絡等)云化,并形成虛擬化資源池、裸金屬資源池及大數據資源池,向上層提供計算虛擬化、存儲虛擬化(塊存儲服務、對象存儲服務、文件存儲服務)、網絡虛擬化及大數據服務。
三是大數據應用已經從互聯網營銷、廣告等領域逐步向電信、交通、金融、醫療、教育、政務等廣泛滲透,有戰略性的大數據典型應用的案例不斷涌現。大數據與各行各業的深度融合是新動能在加快的推進,是全社會應用大數據的氛圍越加濃厚。
浪潮云數融合方案IaaS&PaaS架構圖
近年來,我國大數據產業發展取得了顯著的成效:
在PaaS層,通過基礎環境適配器(Cloud Provider Interface),浪潮彈性分布式操作系統(IOP)能夠直接調用IaaS能力,并向上提供基礎資源服務、計算服務、數據/大數據服務、應用中間件服務、開發支撐服務及多媒體處理服務等六大類功能。其中基礎資源服務包含彈性云主機服務、對象存儲服務、負載均衡服務、網絡服務及VDC服務。計算服務則利用大數據能力提供離線計算服務(用于批量計算、指標匯總計算、數據挖掘等場景)、實時計算服務(用于TB級以上數據實時讀寫和數據實時分析等場景)、流式計算服務(用于實時布控、實時監控預警、實時統計等實時性要求非常高的場景)、內存計算服務(用于批處理,SQL查詢,流式處理以及機器學習等),全方位支撐上層的數據治理和應用。