企業(yè)級云服務(wù)商青云QingCloud（qingcloud.com）日前宣布SparkMR on QingCloud服務(wù)正式登陸AppCenter（應(yīng)用鏈接：https://appcenter.qingcloud.com/apps/app-6iuoe9qs）。SparkMR on QingCloud集成了Spark與Hadoop MapReduce雙計(jì)算引擎，提供統(tǒng)一的HDFS數(shù)據(jù)存儲引擎及YARN調(diào)度系統(tǒng)，為用戶提供靈活、高效、可多模式切換的全新云端大數(shù)據(jù)處理平臺。
青云QingCloud全新雙引擎大數(shù)據(jù)服務(wù)SparkMR正式上線
大數(shù)據(jù)時(shí)代，數(shù)據(jù)資源是企業(yè)的無形資產(chǎn)，也是核心競爭力之一。如何低成本、高效率地進(jìn)行數(shù)據(jù)統(tǒng)一管理和分析，獲得商業(yè)決策支持成為擺在企業(yè)面前的一道難題。大數(shù)據(jù)平臺正是為了企業(yè)的這種需求應(yīng)運(yùn)而生并持續(xù)發(fā)展創(chuàng)新。青云QingCloud于2015年8月推出了基于Spark的大數(shù)據(jù)集群服務(wù)，同年12月，推出Hadoop集群服務(wù)作為大數(shù)據(jù)基礎(chǔ)平臺的有力補(bǔ)充，以此來滿足企業(yè)在大數(shù)據(jù)領(lǐng)域的不同需求。
但由于Spark與Hadoop作為兩個(gè)獨(dú)立的服務(wù)，用戶同時(shí)使用這兩種處理引擎時(shí)，需要部署兩套HDFS，相同的數(shù)據(jù)需要加載并存放兩份，無論是成本還是效率都不是最好的選擇。從數(shù)據(jù)統(tǒng)一管理角度出發(fā)，青云QingCloud推出SparkMR on QingCloud，通過QingCloud AppCenter以云應(yīng)用的方式交付用戶使用，對原有大數(shù)據(jù)平臺的Spark與Hadoop服務(wù)進(jìn)行了全方位的整合與升級。
目前，SparkMR支持Apache Hadoop 2.7.3與Apache Spark 2.2.0。 Spark和Hadoop兩者結(jié)合后，成本顯著降低。同時(shí)，相對原大數(shù)據(jù)平臺提供更豐富、更靈活的可選配置，用戶可以分角色定制節(jié)點(diǎn)配置（CPU 2~16核可選，內(nèi)存2~64GB可選）。SparkMR on QingCloud作為支撐全新雙引擎大數(shù)據(jù)平臺的重要組件，具有多重亮點(diǎn)：
靈活的計(jì)算模式：SparkMR在底層提供統(tǒng)一的HDFS作為數(shù)據(jù)存儲引擎，在上層提供Spark與MapReduce兩種計(jì)算引擎，并提供YARN作為調(diào)度系統(tǒng)。用戶可以輕松實(shí)現(xiàn)三種不同的計(jì)算模式，即Spark Standalone、Spark on YARN和MapReduce on YARN三者之間的切換。
強(qiáng)大的計(jì)算能力： SparkMR為了方便用戶開發(fā)Spark應(yīng)用，除了支持Java和Scala開發(fā)之外，還提供了Python與R兩種語言的運(yùn)行環(huán)境。其中為Python用戶提供了Anaconda發(fā)行版的Python 2和Python 3，并支持在這兩種Python版本間進(jìn)行切換。同時(shí)，分別為這兩個(gè)Python版本預(yù)置了多個(gè)Anaconda發(fā)行版的數(shù)據(jù)科學(xué)包，為數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)/深度學(xué)習(xí)等 AI 開發(fā)場景提供了強(qiáng)大的計(jì)算能力支撐。
便捷的集成能力：SparkMR支持指定依賴服務(wù)的功能，即通過AppCenter 2.0 框架內(nèi)原生的應(yīng)用感知機(jī)制，實(shí)現(xiàn)與其他大數(shù)據(jù)分析組件之間自動(dòng)化的無縫集成。SparkMR與QingStor對象存儲平臺也進(jìn)行了預(yù)置集成，用戶可以通過簡單的配置即可開啟對QingStor對象存儲的支持，以應(yīng)對海量大規(guī)模數(shù)據(jù)的存儲問題。
良好的調(diào)度策略： SparkMR提供Spark與YARN的自定義調(diào)度器的功能，用戶可以根據(jù)自己實(shí)際的需求，自定義集群內(nèi)資源調(diào)度策略，賦予用戶在多租戶使用場景下更為精細(xì)化的管理能力。
簡易的服務(wù)定制：SparkMR通過控制臺提供近60個(gè)配置參數(shù)，用戶通過控制臺的UI操作即可完成集群部署及服務(wù)的個(gè)性化定制。比如用戶可以通過 UI 即可完成設(shè)置 Hadoop 代理用戶的功能。SparkMR的Client（客戶端）節(jié)點(diǎn)也實(shí)現(xiàn)了完全的自動(dòng)化配置，用戶無需再單獨(dú)創(chuàng)建并手動(dòng)配置BigData Client或者Spark Client。這意味著用戶在控制臺完成配置及服務(wù)定制后，在部署完成時(shí)，已經(jīng)可以開始執(zhí)行計(jì)算任務(wù)，真正實(shí)現(xiàn)了一鍵部署、即刻使用。
完善的服務(wù)監(jiān)控：SparkMR提供了完善的服務(wù)級別分角色的監(jiān)控能力，用戶不僅可以看到常規(guī)資源層監(jiān)控，還可以通過可視化的方式清晰了解整體服務(wù)的運(yùn)行情況。同時(shí)基于服務(wù)監(jiān)控，還提供了監(jiān)控告警、健康檢查和服務(wù)自動(dòng)恢復(fù)等功能。
青云QingCloud CTO甘泉表示，SparkMR on QingCloud的推出標(biāo)志著青云QingCloud大數(shù)據(jù)平臺向AppCenter的遷移升級完成了重要一步。AppCenter將助力用戶以應(yīng)用的視角進(jìn)行大數(shù)據(jù)日常管理工作，并通過自身的服務(wù)感應(yīng)機(jī)制，讓組件間的對接不斷趨于自動(dòng)化，實(shí)現(xiàn)動(dòng)態(tài)調(diào)整。未來，QingCloud將陸續(xù)推出可視化、服務(wù)編排等更貼合企業(yè)需求的大數(shù)據(jù)服務(wù)。在深度學(xué)習(xí)領(lǐng)域，QingCloud也將持續(xù)深耕、不斷創(chuàng)新，讓智能化與云計(jì)算深度結(jié)合，為企業(yè)的商業(yè)決策提供有力支撐。