當(dāng)前，大數(shù)據(jù)正在從計(jì)算規(guī)?；?qū)崟r(shí)化演進(jìn)，實(shí)時(shí)數(shù)倉的應(yīng)用場景也越來越廣泛。例如：央視春晚，可通過大屏實(shí)時(shí)統(tǒng)計(jì)全國的收視率和觀眾畫像；多個(gè)城市正在開展的城市大腦項(xiàng)目， 通過 IoT 的攝像頭信息，實(shí)時(shí)捕獲各個(gè)城市中的交通、車輛、人流等信息進(jìn)行交通監(jiān)察與治理；銀行、證券交易所等金融機(jī)構(gòu)實(shí)時(shí)監(jiān)控交易行為，進(jìn)行反作弊反洗錢等行為的探測；電商大促場景下，可通過大屏實(shí)時(shí)展示成交額并實(shí)現(xiàn)毫秒級更新。除此之外，智能客服、物流跟蹤、訂單分析、直播質(zhì)量監(jiān)控等也是實(shí)時(shí)數(shù)倉的典型應(yīng)用場景。由此可見，實(shí)時(shí)數(shù)據(jù)的處理與分析為越來越多的企業(yè)創(chuàng)造了業(yè)務(wù)價(jià)值。

 

     實(shí)時(shí)數(shù)倉越來越重要。然而建設(shè)實(shí)時(shí)數(shù)倉時(shí)，企業(yè)卻常常面臨各種問題。當(dāng)前實(shí)時(shí)數(shù)倉建設(shè)的痛點(diǎn)主要有以下三方面：首先，企業(yè)對于數(shù)據(jù)的準(zhǔn)確性、時(shí)效性、性價(jià)比三方面都同時(shí)具有強(qiáng)烈需求。不但對數(shù)據(jù)實(shí)時(shí)寫入能力要求高、查詢延時(shí)敏感、查詢維度繁多且維度不固定，而且希望兼顧明細(xì)查詢和聚合查詢兩類不同負(fù)載，同時(shí)要求在成本上有所控制。其次，隨著手機(jī)應(yīng)用、小程序等場景日益增多，企業(yè)對于半結(jié)構(gòu)化數(shù)據(jù)的分析需求強(qiáng)烈。第三，由于業(yè)務(wù)需求更新頻繁，實(shí)時(shí)任務(wù)變更頻繁，企業(yè)需要更加敏捷的實(shí)時(shí)數(shù)倉來適應(yīng)頻繁的變更。

 

     為了解決客戶建設(shè)實(shí)時(shí)數(shù)倉中面臨的痛點(diǎn)，阿里云實(shí)時(shí)計(jì)算Flink版+Hologres實(shí)時(shí)數(shù)倉解決方案升級。

 

     本次升級發(fā)布的新功能集中在數(shù)據(jù)寫入、查詢與分析、企業(yè)級能力三個(gè)方面。

 

      數(shù)據(jù)寫入：擁有實(shí)時(shí)應(yīng)用場景的客戶（如實(shí)時(shí)大屏、實(shí)時(shí)風(fēng)控等）對于數(shù)據(jù)寫入的實(shí)時(shí)性有著極高要求，要求數(shù)據(jù)寫入即可見。同時(shí)，由于企業(yè)數(shù)據(jù)來源復(fù)雜，會涉及到許多的數(shù)據(jù)更新、修正的場景，進(jìn)一步加大了實(shí)時(shí)寫入與更新的難度。Hologres作為一站式實(shí)時(shí)數(shù)據(jù)倉庫引擎，提供海量數(shù)據(jù)高性能的實(shí)時(shí)寫入，數(shù)據(jù)寫入即可查。同時(shí)，阿里云實(shí)時(shí)計(jì)算Flink版+Hologres可通過主鍵提供高性能的Upsert能力，整個(gè)寫入和更新過程確保Exactly Once，滿足對數(shù)據(jù)的合并、更新等需求。

 

      企業(yè)在數(shù)據(jù)寫入時(shí)，還面臨著數(shù)據(jù)時(shí)效性低、成本高、同步效率低等困難。本次發(fā)布的表結(jié)構(gòu)變更自動同步功能解決了數(shù)據(jù)時(shí)效性問題，整庫同步功能減少了資源浪費(fèi)，分庫分表合并同步提升了數(shù)據(jù)同步效率。

 

      隨著業(yè)務(wù)的迭代和發(fā)展，數(shù)據(jù)源的表結(jié)構(gòu)變更已成為常見現(xiàn)象，企業(yè)需要及時(shí)修改實(shí)時(shí)同步作業(yè)以適配最新的表結(jié)構(gòu)。這些操作帶來了較高的運(yùn)維成本，也影響了數(shù)據(jù)時(shí)效性。為解決這個(gè)問題，阿里云實(shí)時(shí)計(jì)算Flink版支持通過Catalog實(shí)現(xiàn)元數(shù)據(jù)的自動發(fā)現(xiàn)和管理，配合 CTAS （Create Table AS）語法，使用一行SQL實(shí)現(xiàn)數(shù)據(jù)同步和表結(jié)構(gòu)的變更自動同步，降低運(yùn)維成本，提升數(shù)據(jù)時(shí)效性。在實(shí)際工作場景中，分析師常要通過單張表逐一同步的方式將整個(gè)數(shù)據(jù)庫同步到數(shù)倉中做進(jìn)一步分析，不但浪費(fèi)資源，也為上游數(shù)據(jù)庫帶來較大壓力。針對這個(gè)問題，阿里云 Flink CDC 提供了整庫同步特性，節(jié)省成本，降低數(shù)據(jù)庫壓力。另外，分析師也常常需要將分庫分表的業(yè)務(wù)數(shù)據(jù)匯聚到一張數(shù)倉中的大表中進(jìn)行分析，針對這種場景，阿里云實(shí)時(shí)計(jì)算Flink版+Hologres提供了分庫分表合并同步特性，通過在 CTAS 語法支持源庫和源表的正則表達(dá)式，源數(shù)據(jù)庫的分表可以高效地合并同步到下游 Hologres 數(shù)倉中。查詢與分析：本次發(fā)布的Hologres實(shí)時(shí)物化視圖功能優(yōu)化了聚合場景，減少計(jì)算量，顯著提升查詢性能。JSON列式存儲優(yōu)化提升了半結(jié)構(gòu)化數(shù)據(jù)查詢和存儲效率。Hologres Binlog + 阿里云實(shí)時(shí)計(jì)算Flink版支持了有狀態(tài)的全鏈路事件實(shí)時(shí)驅(qū)動開發(fā)場景。

 

      Hologres新版本已支持實(shí)時(shí)物化視圖功能，數(shù)據(jù)在寫入時(shí)即預(yù)計(jì)算，以空間換時(shí)間，提高查詢效率。JSON作為一個(gè)數(shù)據(jù)單位，提供了存儲上的靈活性，但限制了分析時(shí)的效率，為了訪問JSON中部分節(jié)點(diǎn)不得不讀取整個(gè)JSON數(shù)據(jù)結(jié)構(gòu)，效率非常低下，存儲上也很難壓縮。Hologres的JSON列式存儲優(yōu)化，平衡了靈活性(Schemaless)與性能，提升數(shù)據(jù)存儲壓縮效率，減少數(shù)據(jù)轉(zhuǎn)換等操作，提升查詢效率。Binlog是Hologres很有特色的新能力，支持對每次數(shù)據(jù)更新的詳細(xì)記錄，應(yīng)用在數(shù)倉層次間數(shù)據(jù)實(shí)時(shí)加工、多實(shí)例間數(shù)據(jù)同步、數(shù)據(jù)行列轉(zhuǎn)換 、數(shù)據(jù)變化檢測等多種場景。

 

      企業(yè)級能力方面：Hologres提供了數(shù)據(jù)加密和脫敏、訪問控制、容災(zāi)備份等能力。

 

      除了產(chǎn)品功能發(fā)布外，產(chǎn)品專家還分享了某知名全球TOP20游戲公司的案例。該客戶通過阿里云Flink版+Hologres實(shí)時(shí)數(shù)倉方案替換開源架構(gòu)，簡化數(shù)據(jù)處理鏈路，統(tǒng)一數(shù)倉架構(gòu)，統(tǒng)一存儲，提升查詢性能，完美支撐數(shù)據(jù)分析、廣告投放、實(shí)時(shí)決策等多個(gè)場景，助力業(yè)務(wù)快速增長。