AI 深入應(yīng)用，以及數(shù)字化與新商業(yè)環(huán)境的挑戰(zhàn)下，對(duì)數(shù)據(jù)的管理與應(yīng)用被企業(yè)和 IT 界提到了更重要的位置。CSDN 的《新程序員》雜志第二期做了主題為“新數(shù)據(jù)庫(kù)時(shí)代”的系列專(zhuān)題報(bào)道，此外，分析與咨詢(xún)機(jī)構(gòu)在研究與發(fā)表的報(bào)告中，也印證了這一趨勢(shì)。德勤在剛剛發(fā)布的《2022年度技術(shù)趨勢(shì) 》中，第一個(gè)趨勢(shì)即是數(shù)據(jù)相關(guān)，表示數(shù)據(jù)共享趨勢(shì)將加速。Gartner 發(fā)布 2022年數(shù)據(jù)分析十二大趨勢(shì) ，將數(shù)據(jù)分析提升到企業(yè)創(chuàng)新起源的高度。
不過(guò)從最早的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，到 Hadoop、Spark 大數(shù)據(jù)應(yīng)用，再到數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖，今年湖倉(cāng)一體、流批一體等實(shí)時(shí)數(shù)據(jù)處理被廣泛關(guān)注，數(shù)據(jù)賽道呈現(xiàn)了多種需求與多種方案混雜的形態(tài)。究竟該如何理解數(shù)據(jù)的重要性，以及選擇什么樣的數(shù)據(jù)策略，是數(shù)據(jù)從業(yè)者都需要去厘清的內(nèi)容。近日，CSDN 專(zhuān)訪了專(zhuān)注于數(shù)據(jù)智能基礎(chǔ)設(shè)施的軟件廠商九章云極 DatatCanvas 董事長(zhǎng)方磊博士，聽(tīng)聽(tīng)他的理解與實(shí)踐經(jīng)驗(yàn)。
TP、AP 之后“第三份數(shù)據(jù)”興起，引發(fā)數(shù)據(jù)熱潮與系統(tǒng)升級(jí)機(jī)會(huì)
在 IT 系統(tǒng)發(fā)展中，事務(wù)型數(shù)據(jù)（TP）與分析型數(shù)據(jù)（AP）是最典型的兩類(lèi)數(shù)據(jù)，以往數(shù)據(jù)與報(bào)表只是企業(yè)內(nèi)部使用，例如白天的業(yè)務(wù)數(shù)據(jù)在晚上統(tǒng)一匯總，每天只更新一次（T+1），因此這些數(shù)據(jù)具有低并發(fā)、低頻率的特點(diǎn)。
隨著商業(yè)的創(chuàng)新式發(fā)展，數(shù)據(jù)逐步從內(nèi)部轉(zhuǎn)為外部用戶使用，應(yīng)用操作即時(shí)就需反饋結(jié)果，方磊舉例道，如手機(jī)銀行 App 如果轉(zhuǎn)賬失敗需要立刻恢復(fù)余額，專(zhuān)業(yè)術(shù)語(yǔ)成為“沖賬”。因此他表示，在 TP、AP 之后出現(xiàn)了“第三份數(shù)據(jù)”，它需要與內(nèi)部系統(tǒng)直連，并能快速、高并發(fā)地完成外部請(qǐng)求。
為了處理“第三份數(shù)據(jù)”，新的數(shù)據(jù)系統(tǒng)既要有數(shù)據(jù)倉(cāng)庫(kù)的特性，又要兼顧交易數(shù)據(jù)庫(kù)的特性，同時(shí)具有 severing 的能力。因此出現(xiàn)了多個(gè)數(shù)據(jù)系統(tǒng)，并逐步發(fā)展為統(tǒng)一架構(gòu)之上，流批一體、湖倉(cāng)一體等實(shí)時(shí)數(shù)倉(cāng)隨之產(chǎn)生。不過(guò)方磊提到，現(xiàn)在湖倉(cāng)一體、流批一體側(cè)重于在計(jì)算層將結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一，實(shí)現(xiàn)統(tǒng)一計(jì)算。例如 Databricks 提出的 Lakehouse，這是因?yàn)樵诿绹?guó)的 IT 系統(tǒng)中，公有云的發(fā)展已經(jīng)解決了數(shù)據(jù)存儲(chǔ)層的問(wèn)題。
但中國(guó) IT 是更為分散的私有云、混合云市場(chǎng)。傳統(tǒng)企業(yè)中，數(shù)據(jù)在存儲(chǔ)層只是由 Oracle、Teradate、MPP 上一代的數(shù)據(jù)倉(cāng)庫(kù)過(guò)渡到了 Hadoop ，數(shù)據(jù)可能存在 HDFS、或 MPP 數(shù)據(jù)庫(kù)，或在云上的對(duì)象存儲(chǔ)中，各類(lèi)實(shí)時(shí)數(shù)倉(cāng)不同的設(shè)計(jì)，都需要解決數(shù)據(jù)不一致，這一最大的痛點(diǎn)。
除了實(shí)時(shí)性的需求之后，數(shù)據(jù)業(yè)務(wù)正在從大量事后統(tǒng)計(jì)，轉(zhuǎn)向事中與事前（如金融監(jiān)管）預(yù)防，另外在以往系統(tǒng)內(nèi) BI 應(yīng)用之外，數(shù)據(jù)需要支持眾多新的 AI 應(yīng)用，而工業(yè)互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)應(yīng)用也在彎道超車(chē)，如工業(yè)質(zhì)檢、風(fēng)力發(fā)動(dòng)機(jī)轉(zhuǎn)速扭矩調(diào)節(jié)，等物聯(lián)網(wǎng)與 AI 應(yīng)用也帶來(lái)數(shù)據(jù)實(shí)時(shí)性的需求。
這其中，AI 星空人工智能場(chǎng)景應(yīng)用對(duì)于數(shù)據(jù)的需求尤為急迫，因?yàn)樗惴ㄅc模型都需要更高效和靈活的數(shù)據(jù)系統(tǒng)去支撐。例如基于 AI 模型的在線實(shí)時(shí)金融產(chǎn)品，數(shù)據(jù)早已不是僅限于內(nèi)部使用，外部對(duì)于數(shù)據(jù)的查詢(xún)等需求，需要數(shù)據(jù)系統(tǒng)的分析能力能夠?qū)崟r(shí)透?jìng)鞯酵獠浚瑸橥獠坑脩籼峁┎樵?xún)（如金融產(chǎn)品數(shù)據(jù)、隨股市變化的金額數(shù)據(jù)等）。以上這些新場(chǎng)景、新應(yīng)用、新需求，都讓實(shí)時(shí)性數(shù)據(jù)進(jìn)一步成為技術(shù)界的熱點(diǎn)。
不過(guò)方磊認(rèn)為，從更宏觀的視野來(lái)看，實(shí)時(shí)數(shù)倉(cāng)不應(yīng)僅僅是離線數(shù)據(jù)庫(kù)的補(bǔ)充和“補(bǔ)丁”。以往數(shù)據(jù)處理的痛點(diǎn)并未被徹底完美解決，所以現(xiàn)在更是整個(gè)數(shù)據(jù)基礎(chǔ)設(shè)施與系統(tǒng)架構(gòu)迭代升級(jí)的機(jī)會(huì)窗口，也因此國(guó)內(nèi)外出現(xiàn)了各種由創(chuàng)業(yè)公司、云廠商推出的多個(gè)數(shù)據(jù)系統(tǒng)。
DingoDB：解決實(shí)時(shí)數(shù)據(jù)分析最痛的點(diǎn)
在數(shù)據(jù)基礎(chǔ)設(shè)施的升級(jí)中，各類(lèi)公司對(duì)數(shù)據(jù)系統(tǒng)的設(shè)計(jì)分為了很多流派。有些系統(tǒng)針對(duì)傳統(tǒng)數(shù)倉(cāng)的性能做了調(diào)優(yōu)提速，已經(jīng)能滿足目前 80% 的數(shù)據(jù)業(yè)務(wù)需求，方磊稱(chēng)之為改良派，但這類(lèi)系統(tǒng)仍無(wú)法解決高并發(fā)與外部用戶使用的難題。另一類(lèi)系統(tǒng)，則打破了 TP、AP 數(shù)據(jù)的割裂性，所有數(shù)據(jù)全部實(shí)現(xiàn)流批一體，不過(guò)這也會(huì)帶來(lái)對(duì)內(nèi)存等計(jì)算成本的高昂開(kāi)銷(xiāo)。第三種，也是九章云極DataCanvas選擇的路線，設(shè)計(jì)一個(gè)既支持“批數(shù)據(jù)”又支持“流數(shù)據(jù)”，并兼顧不同類(lèi)型存儲(chǔ)擺放需求的數(shù)據(jù)系統(tǒng)。
現(xiàn)在，九章云極 DataCanvas 推出了實(shí)時(shí)交互式分析數(shù)據(jù)庫(kù) DingoDB， DingoDB 作為實(shí)時(shí)數(shù)據(jù)的通用系統(tǒng)，像 hadoop 一樣具有松耦合與靈活性，但同時(shí)像 Oracle 具有穩(wěn)定性且易于運(yùn)維。
更進(jìn)一步，在數(shù)據(jù)系統(tǒng)的各環(huán)節(jié)中，方磊認(rèn)為，數(shù)據(jù)的變換已經(jīng)被業(yè)界很好的解決（如開(kāi)源 Flink 已經(jīng)可以很好解決實(shí)時(shí)的數(shù)據(jù)變換 Realtime ETL），而之后的數(shù)據(jù)查詢(xún)?nèi)匀皇潜∪鹾痛嵘沫h(huán)節(jié)。DingoDB 借鑒了 TP 系統(tǒng)和 AP 系統(tǒng)各自的優(yōu)點(diǎn)，結(jié)合 Flink ETL，在存儲(chǔ)海量數(shù)據(jù)的同時(shí)，能夠進(jìn)行高并發(fā)的數(shù)據(jù)查詢(xún)，實(shí)時(shí)的數(shù)據(jù)分析。數(shù)據(jù)從各種類(lèi)型的渠道導(dǎo)入 DingoDB，借助 DingoDB 的高并發(fā)查詢(xún)，實(shí)時(shí)數(shù)據(jù)分析和多維分析的能力，來(lái)支撐實(shí)時(shí)性、需要在線決策的數(shù)據(jù)業(yè)務(wù)應(yīng)用。
方磊介紹，DingoDB 最核心的技術(shù)特性，是高效支持高頻修改和查詢(xún)、實(shí)時(shí)交互式分析、實(shí)時(shí)多維分析等功能，兼具行列混存等技術(shù)創(chuàng)新，詳細(xì)的來(lái)說(shuō)：
行列混合：DingoDB 采用了統(tǒng)一的存儲(chǔ)的設(shè)計(jì)，支持行存、列存和行列混合的存儲(chǔ)形式。
標(biāo)準(zhǔn) SQL：DingoDB 支持 ANSI SQL 語(yǔ)法，可以和 Calcite 客戶端、BI 報(bào)表工具無(wú)縫銜接。
實(shí)時(shí)高頻更新：DingoDB 能夠基于主鍵，實(shí)現(xiàn)數(shù)據(jù)記錄的 Upsert、Delete 操作；同時(shí)數(shù)據(jù)采用多分區(qū)副本機(jī)制，能夠?qū)?Upsert、Delete 操作轉(zhuǎn)化為 Key-Value 操作，實(shí)現(xiàn)高頻更新。
DingoDB 架構(gòu)圖
在存儲(chǔ)層，DingoDB 與被頻繁比較的 Databricks 的 Delta Lake 最大的不同點(diǎn)，是 DingoDB 采用了分布式存儲(chǔ)架構(gòu)，以適應(yīng)國(guó)內(nèi)用戶存儲(chǔ)分散的現(xiàn)狀，而 Delta Lake 在存儲(chǔ)層更多是云上的對(duì)象存儲(chǔ)的抽象定義，而非真正的存儲(chǔ)，這并不適應(yīng)目前國(guó)內(nèi)云計(jì)算的現(xiàn)實(shí)情況。
方磊對(duì) CSDN 提到，在企業(yè)中，算法和數(shù)據(jù)不分家，并將越來(lái)越緊密結(jié)合。所以成立之初，九章云極 DataCanvas 推出 AI 機(jī)器學(xué)習(xí)平臺(tái) DataCanvas APS，并在多個(gè)關(guān)鍵行業(yè)積累了大量的落地場(chǎng)景與案例經(jīng)驗(yàn)，現(xiàn)在更進(jìn)一步，針對(duì) AI 分析依賴(lài)高效、實(shí)時(shí)性數(shù)據(jù)這個(gè)核心需求，推出的實(shí)時(shí)數(shù)據(jù)系統(tǒng) DingoDB ，則是讓數(shù)據(jù)從處理到 AI 分析，可以在一站式的平臺(tái)上完成。
面對(duì)數(shù)據(jù)領(lǐng)域?qū)映霾桓F的新技術(shù)，方磊表示，實(shí)時(shí)數(shù)倉(cāng)、湖倉(cāng)一體都是數(shù)據(jù)處理與分析應(yīng)用的新戰(zhàn)術(shù)，而從戰(zhàn)略層面來(lái)說(shuō)，方磊認(rèn)為，九章云極 DataCanvas 專(zhuān)注和努力在做的，是將 AI 的分析、數(shù)據(jù)等開(kāi)放能力，組成一個(gè)高效的、互相緊密聯(lián)系與流動(dòng)的體系。與 Databricks、亞馬遜云科技一樣，九章云極DataCanvas 將致力于打造 AI 與數(shù)據(jù)統(tǒng)一的、一站式的數(shù)據(jù)科學(xué)平臺(tái)，Data analytics and AI on one platform。以過(guò)硬的技術(shù)與產(chǎn)品去應(yīng)對(duì)數(shù)據(jù)處理與分析的效率變革與挑戰(zhàn)，將是數(shù)據(jù)賽道永恒的主題，我們期待九章云極 DataCanvas 與更多中國(guó)優(yōu)秀數(shù)據(jù)廠商的表現(xiàn)。
DingoDB開(kāi)源地址：https://github.com/dingodb/dingo
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 大數(shù)據(jù) » 數(shù)據(jù)智能基礎(chǔ)設(shè)施升級(jí)窗口將至?看九章云極 DingoDB 如何擊破數(shù)據(jù)痛點(diǎn)