大數據調度平臺助力數據運營降本增效

　　隨著移動互聯網技術的高速發展，運營商的數據量呈指數級增長。如何利用海量數據資源進行價值和商業變現，成為運營商提高核心競爭力、搶占市場先機的關鍵。ETL(數據倉庫技術)作為數據信息轉換的一種主要技術手段，是將業務系統的數據經過抽取、清洗轉換之后加載到數據中心的重要工具。隨著數據量的增長及業務場景的變化，取數和計算范圍不斷擴充，整個ETL過程的調度也日益復雜，這不僅帶來運維成本的增加，也讓數據生產質量難于保障。為此，運營商迫切需要尋求新的技術手段。

　　中興軟創結合多年的項目運營服務支撐經驗，提出構建全程調度平臺解決方案。方案包含進度自動預測、異常監控告警、數據血緣分析等功能，實現從數據匯聚、數據處理到數據服務的全流程調度能力，有效協助運營商提升數據處理效率，滿足其處理海量數據和復雜業務場景的需求。
 

　　

　　圖1 全程調度平臺架構圖
 

　　

　　圖2 全程調度平臺功能圖
 

　　全程調度平臺解決方案構建了三層立體式調度體系：
 

　　第一層端到端調度，從業務角度出發，提供松耦合、端到端的調度和監控功能。以數據為中心，通過數據節點組織數據、數據依賴關系、生產流程任務，實現調度信息一點化管理。通過構建360度調度運行視圖，洞悉整個數據中心的調度運行情況，提供可視化實時監控。
 

　　第二層流程級調度，通過流程引擎控制任務之間的依賴關系，允許任務并行或串行執行。支持任務同步或異步執行，縮短整個流程執行時間，提升運行效率。
 

　　第三層任務調度，通過正式發布的任務，進行任務執行策略和調度策略，實現任務程序的周期性、臨時性或實時不間斷運行。任務調度實現數據中心多計算集群任務的統一配置和協同運行，優化系統資源調配。
 

　　2017年，中興軟創全程調度平臺在湖南電信率先上線。目前已承接了湖南電信數據中心的10000+數據加工處理任務，問題查證率提高50%。同時數據質量覆蓋度提升至98%，人員培訓周期由1個月縮短到7天，節省了60%的人力成本。該平臺逐步成為湖南電信數據中心的連接器，以高質量、高效、敏捷、安全的手段支撐湖南電信內外數據需求。

      轉自：中國網建設

　　版權及免責聲明：凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章，不代表本網觀點和立場。版權事宜請聯系：010-65363056。

延伸閱讀