為了進(jìn)一步完善大數(shù)據(jù)平臺，企業(yè)級基礎(chǔ)云服務(wù)商青云QingCloud（qingcloud.com）日前宣布新增分布式實(shí)時計算系統(tǒng)Storm和基于Hadoop的數(shù)據(jù)倉庫工具Hive，這是繼月初推出Elasticsearch全文搜索引擎服務(wù)后QingCloud推出的又一重要功能。隨著數(shù)據(jù)在企業(yè)商業(yè)決策和產(chǎn)品功能中起到的作用越來越重要，大數(shù)據(jù)技術(shù)正在越來越多的企業(yè)中發(fā)揮出更大價值。QingCloud正在不斷完善大數(shù)據(jù)平臺，幫助用戶降低技術(shù)門檻。目前，兩個新功能已經(jīng)分別在QingCloud控制臺的大數(shù)據(jù)平臺和映像市場上線。

QingCloud Storm功能上線

Storm是一個開源的分布式實(shí)時計算系統(tǒng)，通常被比作＂實(shí)時的Hadoop＂。Storm為實(shí)時計算提供了一些簡單優(yōu)美的原語，支持多種編程語言，并內(nèi)建流式窗口API及分布式緩存API，極大簡化了流式數(shù)據(jù)處理過程。Storm不僅高可靠、易擴(kuò)展，而且處理速度極快，每個計算節(jié)點(diǎn)每秒能處理上百萬條元組信息（Tuple），因此常被用于實(shí)時分析、在線機(jī)器學(xué)習(xí)、連續(xù)計算、分布式RPC、ETL等。QingCloud提供的Storm 集群采用Master/Slave 架構(gòu)，提供了在線伸縮、監(jiān)控告警等功能，幫助用戶更好地管理集群。

QingCloud Storm集群架構(gòu)圖

通常包括Storm在內(nèi)的大數(shù)據(jù)平臺的運(yùn)維都是非常繁瑣的，但在QingCloud上，用戶可以在２到３分鐘創(chuàng)建一個Storm集群。集群支持橫向與縱向在線伸縮，還提供了監(jiān)控告警等功能，使得管理集群異常方便。集群運(yùn)行于100%二層隔離的私有網(wǎng)絡(luò)內(nèi)，結(jié)合QingCloud提供的高性能硬盤，在保障高性能的同時兼顧用戶的數(shù)據(jù)安全。

QingCloud Hive服務(wù)架構(gòu)圖

Hive是基于Hadoop的一個主流的針對海量數(shù)據(jù)做離線分析的數(shù)據(jù)倉庫，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表，并提供簡潔的類SQL(稱為HQL)查詢功能，將HQL語句轉(zhuǎn)換為MapReduce任務(wù)后運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可通過HQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計，大部分場景不必開發(fā)專門的MapReduce應(yīng)用，十分適合基于數(shù)據(jù)倉庫的統(tǒng)計分析。另外，也可通過MapReduce開發(fā)擴(kuò)展新功能函數(shù)。

QingCloud提供的Hive映像包含了Hive Client和Hive Server的所有功能。用戶在Hive Client端發(fā)起HQL任務(wù)，通過Hive Server實(shí)現(xiàn)HQL到 MapReduce 任務(wù)的轉(zhuǎn)換，然后調(diào)用 Hadoop 集群執(zhí)行。在 QingCloud 上，用戶可以在２到３分鐘內(nèi)創(chuàng)建一個Hive服務(wù)，并完成與其他大數(shù)據(jù)集群連接的配置。Hive服務(wù)支持縱向在線伸縮， 提供了監(jiān)控告警等功能，使得服務(wù)管理非常方便。

青云QingCloud CTO 甘泉（Reno Gan）表示：“Storm、Hive 服務(wù)的推出標(biāo)志著 QingCloud 大數(shù)據(jù)基礎(chǔ)平臺的進(jìn)一步完善，結(jié)合已經(jīng)推出的Spark、Hadoop、ZooKeeper、消息隊列（Kafka）、Elasticsearch 等服務(wù)，QingCloud 的大數(shù)據(jù)平臺服務(wù)已經(jīng)能夠滿足用戶的各種需求。很快我們還將會上線 HBase 存儲集群服務(wù)，提升整個大數(shù)據(jù)生命周期使用效率的各類平臺管理服務(wù)——包括但不限于日志服務(wù)、計算引擎靈活切換、對象存儲集成、服務(wù)編排等，以及基于主流機(jī)器學(xué)習(xí)平臺的智能分析服務(wù)。此外，全新的容器技術(shù)將會大幅度提升大數(shù)據(jù)平臺的整體性能?！?/p>