智能化正在不斷顛覆傳統(tǒng)生產(chǎn)力。隨著數(shù)智時(shí)代的到來(lái)，AI技術(shù)在提升管理效率、降低運(yùn)維成本等方面發(fā)揮著越來(lái)越重要的作用。當(dāng)DB與AI相結(jié)合，數(shù)據(jù)庫(kù)產(chǎn)品也變得更加智能化。目前智能數(shù)據(jù)庫(kù)技術(shù)是業(yè)內(nèi)的研究熱點(diǎn)，openGauss 作為國(guó)內(nèi)數(shù)據(jù)庫(kù)根技術(shù)的重要一支，在這一領(lǐng)域取得了哪些成就？未來(lái)有哪些發(fā)展規(guī)劃？

2023年4月7-8日，由中國(guó)DBA聯(lián)盟（ACDU）和墨天輪社區(qū)聯(lián)合主辦的第十二屆“數(shù)據(jù)技術(shù)嘉年華”（DTC 2023）在北京新云南皇冠假日酒店成功召開(kāi)。華為openGauss數(shù)據(jù)庫(kù)AI領(lǐng)域負(fù)責(zé)人李士福在【數(shù)智趨勢(shì)：智能運(yùn)維與自治】專(zhuān)題論壇發(fā)表了題為 《openGauss：自駕駛數(shù)據(jù)庫(kù)內(nèi)核》 的演講。本文根據(jù)演講實(shí)錄整理而成。

（嘉賓簡(jiǎn)介：李士福，15年數(shù)據(jù)庫(kù)內(nèi)核開(kāi)發(fā)經(jīng)驗(yàn)，2014年加入華為高斯部，曾在Teradata研發(fā)中心從事分布式MPPDB數(shù)據(jù)庫(kù)研發(fā)。目前其主要負(fù)責(zé)GaussDB（含openGauss）自治數(shù)據(jù)庫(kù)內(nèi)核的研發(fā)工作，包括DBMind自治運(yùn)維系統(tǒng)、DB4AI庫(kù)內(nèi)AI引擎和自學(xué)型內(nèi)核；同時(shí)作為openGauss社區(qū)TC成員支撐openGauss社區(qū)拓展。）

一、openGauss自駕駛內(nèi)核整體介紹

李士福表示，openGauss自駕駛內(nèi)核整體上主要包含兩個(gè)子系統(tǒng)：AI4DB自治系統(tǒng)和DB4AI庫(kù)內(nèi)AI引擎。

AI4DB自治系統(tǒng)主要又包含兩大部分：一個(gè)是DBMind自治運(yùn)維系統(tǒng)，是給用戶、主要是DBA做自監(jiān)控、自診斷、自由化和自安全，其主要目標(biāo)是方便用戶做系統(tǒng)的運(yùn)維診斷，讓系統(tǒng)更高效、可靠運(yùn)行；另一個(gè)是把AI技術(shù)嵌到數(shù)據(jù)庫(kù)內(nèi)核之中，實(shí)現(xiàn)智能查詢重寫(xiě)、代價(jià)估計(jì)、行數(shù)估計(jì)、計(jì)劃自適應(yīng)選擇、負(fù)載自適應(yīng)調(diào)度、自學(xué)習(xí)索引、緩存自適應(yīng)淘汰等。

DB4AI庫(kù)內(nèi)AI引擎則是指在數(shù)據(jù)庫(kù)內(nèi)置很多AI算法，把AI能力直接內(nèi)嵌到數(shù)據(jù)庫(kù)中，通過(guò)訓(xùn)練和推理SQL語(yǔ)法、訓(xùn)練語(yǔ)句執(zhí)行計(jì)劃及代價(jià)為數(shù)據(jù)庫(kù)提供AI能力，這樣能方便用戶使用訓(xùn)練和推理的語(yǔ)句。同時(shí)DB4AI還可以提供算法API接口，供學(xué)習(xí)型內(nèi)核組件調(diào)用，從而為庫(kù)內(nèi)組件加速。

二、DBMind運(yùn)維管理系統(tǒng)架構(gòu)和應(yīng)用

李士福指出，DBMind整體運(yùn)維架構(gòu)主要涵蓋四個(gè)方面：數(shù)據(jù)采集層作為底座，主要負(fù)責(zé)在數(shù)據(jù)庫(kù)運(yùn)行節(jié)點(diǎn)上部署Agent采集節(jié)點(diǎn)，從而采集數(shù)據(jù)庫(kù)指標(biāo)和OS指標(biāo)，同時(shí)還負(fù)責(zé)執(zhí)行AI Service下發(fā)的運(yùn)維管理命令。在數(shù)據(jù)計(jì)算層，數(shù)據(jù)庫(kù)外的節(jié)點(diǎn)可以在備機(jī)部署AI Service服務(wù)節(jié)點(diǎn)，同時(shí)有一些存儲(chǔ)的引擎，來(lái)實(shí)現(xiàn)數(shù)據(jù)計(jì)算存儲(chǔ)。自治服務(wù)層主要提供三大方面的自治服務(wù)：其一是SQL診斷調(diào)優(yōu)，包括慢SQL診斷、發(fā)現(xiàn)以及索引優(yōu)化等；其二是安全，提供異常行為檢測(cè)、敏感數(shù)據(jù)發(fā)現(xiàn)；其三是運(yùn)維，即整個(gè)系統(tǒng)的運(yùn)維診斷，包括參數(shù)調(diào)優(yōu)、系統(tǒng)分析診斷等。最頂層是監(jiān)控，通過(guò)端到端的監(jiān)控診斷、運(yùn)維還有優(yōu)化，實(shí)現(xiàn)了從問(wèn)題發(fā)現(xiàn)、問(wèn)題診斷到問(wèn)題優(yōu)化的全流程管控，對(duì)用戶來(lái)說(shuō)是無(wú)感知的。

在DBMind自治運(yùn)維系統(tǒng)層層嚴(yán)密的架構(gòu)下，其有廣泛的應(yīng)用。李士福透露，DBMind自治運(yùn)維系統(tǒng)的應(yīng)用主要聚焦于三個(gè)方面：索引推薦能力、慢SQL診斷和建議、多指標(biāo)關(guān)聯(lián)分析。

索引推薦能力是指在數(shù)據(jù)庫(kù)內(nèi)核中內(nèi)置單條索引的推薦能力，來(lái)實(shí)現(xiàn)單條索引推薦，從而讓用戶很容易對(duì)一條語(yǔ)句實(shí)現(xiàn)索引加速。由于單條索引很難對(duì)整個(gè)系統(tǒng)有效，因此openGauss DBMind額外增加了對(duì)整個(gè)系統(tǒng)負(fù)載的索引推薦，通過(guò)對(duì)批量workload的采集、處理、壓縮后再進(jìn)行單條索引推薦，從而降低索引推薦比例、提升整體效率。

慢SQL診斷和建議是在openGauss中集成的能力之一。在數(shù)據(jù)庫(kù)中，openGauss會(huì)識(shí)別哪些語(yǔ)句是慢SQL，然后采集慢SQL和它的相關(guān)指標(biāo)特征。同時(shí)結(jié)合當(dāng)前系統(tǒng)的運(yùn)行狀況，比如CPU使用率和IO使用率等指標(biāo)，把這些信息作為統(tǒng)一的集合進(jìn)行訓(xùn)練。訓(xùn)練后形成的特征庫(kù)，可用于與之后遇到的慢SQL語(yǔ)句境進(jìn)行智能匹配，最后把根因結(jié)果在界面上展示，同時(shí)給出優(yōu)化建議。

多指標(biāo)關(guān)聯(lián)分析可以幫助我們快速發(fā)現(xiàn)問(wèn)題。我們都知道，采集的指標(biāo)是多種多樣的，一個(gè)指標(biāo)的變動(dòng)可能聯(lián)動(dòng)其他指標(biāo)也發(fā)生變化。目前openGauss施行了多種異常檢測(cè)算法，例如：持續(xù)增長(zhǎng)、毛刺、周期性等。基于這些檢測(cè)算法觀察環(huán)境指標(biāo)，可以發(fā)現(xiàn)指標(biāo)間的關(guān)聯(lián)關(guān)系，從而確定影響關(guān)鍵指標(biāo)的變化因素有哪些。

三、庫(kù)內(nèi)AI引擎架構(gòu)和應(yīng)用

對(duì)DBMind整體運(yùn)維架構(gòu)進(jìn)行了詳細(xì)的介紹后，李士福還分享了庫(kù)內(nèi)AI引擎架構(gòu)和應(yīng)用方面的知識(shí)點(diǎn)。

DB4AI庫(kù)內(nèi)AI引擎架構(gòu)中，基于優(yōu)化路徑，openGauss可以展示當(dāng)前AI算子的執(zhí)行路徑，讓用戶可以查看執(zhí)行計(jì)劃。其次是全流程業(yè)務(wù)管理，除了常見(jiàn)的模型管理，openGauss數(shù)據(jù)庫(kù)還支持通過(guò)系統(tǒng)表存儲(chǔ)管理模型。此外，還支持?jǐn)?shù)據(jù)集管理，在數(shù)據(jù)更新變化的情況下，不影響當(dāng)前訓(xùn)練的模型。李士福透露，研發(fā)團(tuán)隊(duì)還在做模型的漂移，去保證模型的新鮮度；進(jìn)一步還將結(jié)合異構(gòu)計(jì)算能力，將執(zhí)行算子下推到GPU去做穩(wěn)定訓(xùn)練加速，從而構(gòu)建起完整的DB4AI引擎架構(gòu)。

DB4AI與不同的應(yīng)用相結(jié)合，能幫助開(kāi)發(fā)者提升工作效率。“在應(yīng)用上，DB4AI給用戶提供交互式的界面，例如結(jié)合Jupyter做交互式的分析。因此，我們提供DB4AI Python庫(kù)，結(jié)合這個(gè)命令可以很容易地在交互界面上給用戶展示相關(guān)信息。這種可以使用Python的方式讓用戶很容易上手。”李士福說(shuō)道。

目前DB4AI也積累了豐富的案例，例如庫(kù)內(nèi)AI高效訓(xùn)練和推理、模型自適應(yīng)漂移。通過(guò)機(jī)器學(xué)習(xí)算法，完成可解釋模型；每個(gè)月采2000個(gè)樣板信息完成模型漂移，解決了模型與當(dāng)前業(yè)務(wù)不擬合等問(wèn)題。openGauss 在DB4AI方面的應(yīng)用能極大地節(jié)省人力，降低成本。

此外，李士福還就智能優(yōu)化器架構(gòu)做了簡(jiǎn)要介紹。openGauss數(shù)據(jù)庫(kù)的智能優(yōu)化器主要完成四項(xiàng)任務(wù)：智能基數(shù)估計(jì)、自適應(yīng)計(jì)劃選擇、智能代價(jià)模型、智能計(jì)劃探索。其中，他重點(diǎn)介紹了智能基數(shù)估計(jì)、自適應(yīng)計(jì)劃選擇這兩項(xiàng)任務(wù)。智能基數(shù)估計(jì)是指結(jié)合AI算子對(duì)數(shù)據(jù)做分析和處理，改善了基于神經(jīng)網(wǎng)絡(luò)算法的傳統(tǒng)方法很難落地的情況；自適應(yīng)計(jì)劃選擇主要解決的是緩存計(jì)劃的使用問(wèn)題。

在演講尾聲，李士?？偨Y(jié)指出，AI與DB的結(jié)合其實(shí)是一個(gè)新興領(lǐng)域，目前openGauss在這一領(lǐng)域投入很多。AI與DB相結(jié)合能解決當(dāng)前運(yùn)維場(chǎng)景效率的問(wèn)題，還可以提升用戶使用價(jià)值。后續(xù)，華為將持續(xù)深耕這一領(lǐng)域，并將研究成果持續(xù)應(yīng)用至社區(qū)。