核心數(shù)據(jù)庫(kù)做國(guó)產(chǎn)化替代、混合架構(gòu)整合、多源數(shù)據(jù)匯聚——這些場(chǎng)景里，數(shù)據(jù)同步軟件選不好，遷移成本和運(yùn)維風(fēng)險(xiǎn)都會(huì)翻倍。
金倉(cāng)數(shù)據(jù)庫(kù)的 KFS 用無(wú)中間庫(kù)直連架構(gòu)做數(shù)據(jù)同步。它的思路很樸素：把傳統(tǒng)三段式方案里的中間庫(kù)拿掉，讓源庫(kù)直接連目標(biāo)庫(kù)。說(shuō)起來(lái)簡(jiǎn)單，但中間的工程挑戰(zhàn)不小。先看看傳統(tǒng)方案到底卡在哪里。
中間庫(kù)、停機(jī)窗口、異構(gòu)適配——三座大山
傳統(tǒng)數(shù)據(jù)同步方案最讓人頭疼的問(wèn)題有三個(gè)，而且這三個(gè)問(wèn)題是互相放大的。
第一是停機(jī)窗口不可控。傳統(tǒng)方案要求在業(yè)務(wù)低峰期做全量同步，但增量同步又容易因網(wǎng)絡(luò)抖動(dòng)或事務(wù)沖突而中斷。中斷一次，停機(jī)窗口就得重新規(guī)劃，這在金融核心系統(tǒng)、醫(yī)療 HIS 系統(tǒng)這類 7×24 小時(shí)運(yùn)轉(zhuǎn)的場(chǎng)景里幾乎不可接受。
第二是中間庫(kù)又貴又復(fù)雜。市面上多數(shù)同步軟件用的是三段式架構(gòu)——源庫(kù)先寫到中間庫(kù)，中間庫(kù)做緩存和轉(zhuǎn)換，再寫到目標(biāo)庫(kù)。這個(gè)設(shè)計(jì)在早期是合理的，因?yàn)楫?dāng)時(shí)異構(gòu)數(shù)據(jù)之間的轉(zhuǎn)換確實(shí)需要一個(gè)中間層。但問(wèn)題是，中間庫(kù)本身需要額外的硬件成本，而且多了一段復(fù)制鏈路，數(shù)據(jù)一致性校驗(yàn)也跟著變復(fù)雜。到了大規(guī)模同步場(chǎng)景，中間庫(kù)往往第一個(gè)成為性能瓶頸。
第三是異構(gòu)源適配成本高。一個(gè)企業(yè)的 IT 環(huán)境里，Oracle、MySQL、SQL Server、PostgreSQL 經(jīng)常共存，甚至還有文件、日志這類非標(biāo)數(shù)據(jù)源。每加一種源端，同步軟件就得做額外的適配開發(fā)，周期拉長(zhǎng)不說(shuō)，運(yùn)維團(tuán)隊(duì)要掌握的知識(shí)面也跟著擴(kuò)大。
這三個(gè)問(wèn)題疊加在一起，讓數(shù)據(jù)同步從"技術(shù)選型"變成了"項(xiàng)目風(fēng)險(xiǎn)"。金倉(cāng)數(shù)據(jù)庫(kù)的KFS 要解決的就是這個(gè)。
源庫(kù)直連目標(biāo)庫(kù)，鏈路能短到什么程度
KFS 的方案說(shuō)起來(lái)不復(fù)雜，做起來(lái)不容易：去掉中間庫(kù)，源庫(kù)直接連目標(biāo)庫(kù)。
這個(gè)架構(gòu)意味著數(shù)據(jù)從源庫(kù)出來(lái)之后，經(jīng)過(guò) KFS 同步引擎的日志解析、過(guò)濾和分片并行處理，直接寫入目標(biāo)庫(kù)。中間不經(jīng)過(guò)任何中轉(zhuǎn)節(jié)點(diǎn)，數(shù)據(jù)鏈路被壓縮到了最短。
但這只是結(jié)構(gòu)層面的變化。真正讓這個(gè)架構(gòu)能跑起來(lái)的是底層的日志級(jí)捕獲技術(shù)。傳統(tǒng)方案用的是定時(shí)輪詢，每隔一段時(shí)間去源庫(kù)查一下有沒(méi)有新數(shù)據(jù)，這種方式的延遲是分鐘級(jí)的，而且輪詢本身也會(huì)給源庫(kù)帶來(lái)額外的查詢負(fù)載。KFS 的做法是直接解析源庫(kù)的事務(wù)日志（Oracle 的 Redo Log、MySQL 的 Binlog、SQL Server 的事務(wù)日志、PostgreSQL 的 WAL），在數(shù)據(jù)變更發(fā)生的瞬間就捕獲到，延遲控制在亞秒級(jí)。
除此之外，KFS 在同步引擎層面做了行級(jí)和列級(jí)的精準(zhǔn)過(guò)濾，只傳需要同步的數(shù)據(jù)，減少無(wú)效傳輸。多通道分片并行則確保帶寬和目標(biāo)庫(kù)的寫入能力被充分利用。
4.5TB 日增量壓測(cè)，跑出了什么結(jié)果
架構(gòu)設(shè)計(jì)得再好，最終還是用數(shù)據(jù)說(shuō)話。金倉(cāng)做了一次極限壓力測(cè)試，參數(shù)如下：
在這個(gè)量級(jí)的壓力下，KFS 全量同步在預(yù)定窗口內(nèi)完成，沒(méi)有發(fā)生數(shù)據(jù)丟失；增量同步延遲保持在亞秒級(jí)，業(yè)務(wù)端幾乎感覺(jué)不到；通過(guò)實(shí)時(shí)在線校驗(yàn)，源端和目標(biāo)端數(shù)據(jù)保持 100% 一致；全程無(wú)中斷、無(wú)回退，引擎運(yùn)行穩(wěn)定。
4.5TB 這個(gè)數(shù)字放在傳統(tǒng)同步方案里，往往需要專門的硬件規(guī)劃和多輪調(diào)優(yōu)才能勉強(qiáng)應(yīng)付。KFS 能扛住，靠的就是前面說(shuō)的兩件事，無(wú)中間庫(kù)架構(gòu)把鏈路壓縮到最短，日志級(jí)捕獲把延遲壓到最低。
SQL Server 的 GO 命令，MySQL 的 Binlog，怎么處理
異構(gòu)同步不只是"把數(shù)據(jù)搬過(guò)去"，不同數(shù)據(jù)庫(kù)有各自的特性，處理不好就是數(shù)據(jù)不一致的隱患。
SQL Server 這邊，KFS 需要處理幾個(gè)特殊的機(jī)制：
事務(wù)邊界的保留，SQL Server 的三種事務(wù)模式（自動(dòng)提交、顯式、隱式）在同步時(shí)不能混掉；
GO 命令的解析，這不是標(biāo)準(zhǔn) SQL，但 SSMS 的用戶大量使用；
IDENTITY 自增列的邏輯，同步過(guò)去之后自增序列要一致；
全局臨時(shí)表和本地臨時(shí)表的處理，這些表的結(jié)構(gòu)和數(shù)據(jù)的生命周期跟普通表不一樣。
MySQL 這邊，KFS 支持 5.x 和 8.x 全版本協(xié)議，不需要修改源端配置。DDL 表結(jié)構(gòu)變更實(shí)時(shí)同步到目標(biāo)端，BLOB 和 TEXT 類型的大對(duì)象做分塊同步。這些細(xì)節(jié)處理好了，異構(gòu)同步才不會(huì)在關(guān)鍵時(shí)刻掉鏈子。
中國(guó)石化的賬本，同步后效率提了 60%
技術(shù)能力最終還是要在真實(shí)業(yè)務(wù)里驗(yàn)證。
中國(guó)石化財(cái)務(wù)共享系統(tǒng)覆蓋應(yīng)收、應(yīng)付、總賬、薪酬等核心財(cái)務(wù)模塊，與費(fèi)用報(bào)銷、司庫(kù)管理、增值稅管控深度集成。這套系統(tǒng)每天要處理海量的財(cái)務(wù)數(shù)據(jù)，對(duì)數(shù)據(jù)一致性和同步穩(wěn)定性要求極高。電科金倉(cāng)和石化盈科組成的聯(lián)合項(xiàng)目團(tuán)隊(duì)采用了標(biāo)準(zhǔn)的 KFS 遷移方案：先用 KDTS 完成歷史數(shù)據(jù)批量遷移，再用 KFS 實(shí)時(shí)捕獲原庫(kù)日志做增量同步，同步過(guò)程中持續(xù)進(jìn)行在線校驗(yàn)，最后在業(yè)務(wù)低峰期完成最終切換。
整個(gè)過(guò)程財(cái)務(wù)系統(tǒng)沒(méi)有停過(guò)，升級(jí)完成后效率提升了 60%。對(duì)于中國(guó)石化這種體量的企業(yè)來(lái)說(shuō)，財(cái)務(wù)系統(tǒng)效率提升 60%，意味著月底結(jié)賬的周期大幅縮短，年終審計(jì)的數(shù)據(jù)準(zhǔn)備也有了更可靠的基座。
數(shù)據(jù)同步軟件的選型，最終回到一個(gè)樸素的問(wèn)題：數(shù)據(jù)從 A 到 B，鏈路越短越好。
中間庫(kù)方案在早期確實(shí)解決了異構(gòu)數(shù)據(jù)轉(zhuǎn)換的問(wèn)題，但隨著日志解析技術(shù)的成熟，直連方案在性能和一致性上的優(yōu)勢(shì)越來(lái)越明顯。不是中間庫(kù)方案錯(cuò)了，而是技術(shù)條件變了，當(dāng)你可以直接從日志里捕獲數(shù)據(jù)變更時(shí)，再多加一層中轉(zhuǎn)，就成了不必要的代價(jià)。
金倉(cāng) KFS 的無(wú)中間庫(kù)架構(gòu)不是對(duì)傳統(tǒng)方案的簡(jiǎn)單替代，而是基于日志級(jí)捕獲技術(shù)的一次架構(gòu)升級(jí)。對(duì)于正在做數(shù)據(jù)遷移的企業(yè)來(lái)說(shuō)，少一個(gè)中間環(huán)節(jié)，就多一份確定性。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 大數(shù)據(jù) » 去掉中間庫(kù)之后：金倉(cāng)數(shù)據(jù)庫(kù) KFS 數(shù)據(jù)同步方案實(shí)測(cè)