7 月 12 日，九章云極 DataCanvas 正式發(fā)布YLearn因果學(xué)習(xí)開源項(xiàng)目（以下簡(jiǎn)稱“YLearn”）。據(jù)悉，這是全球首款一站式處理因果學(xué)習(xí)完整流程的開源算法工具包。YLearn 率先同時(shí)解決了因果學(xué)習(xí)中包括因果發(fā)現(xiàn)、因果量識(shí)別、因果效應(yīng)估計(jì)、反事實(shí)推斷和策略學(xué)習(xí)等關(guān)鍵問題，有效提升了政府和企業(yè)自動(dòng)化“決策”能力。
GitHub 地址：https://github.com/DataCanvasIO/YLearn
近年來，因果學(xué)習(xí)在星空人工智能領(lǐng)域引起了廣泛的關(guān)注。有觀點(diǎn)認(rèn)為，因果學(xué)習(xí)將開啟下一代 AI 浪潮。圖靈獎(jiǎng)得主 Judea Pearl 也曾表示，“如果沒有對(duì)因果關(guān)系的推理能力，AI 的發(fā)展將從根本上受到限制”。
那么，究竟什么是因果學(xué)習(xí)？它能解決什么問題？是否會(huì)取代機(jī)器學(xué)習(xí)？作為全球首個(gè)一站式處理因果學(xué)習(xí)完整流程的開源算法工具包，YLearn 有哪些技術(shù)實(shí)踐和應(yīng)用？針對(duì)這些問題，InfoQ 近日采訪到了九章云極 DataCanvas 主任架構(gòu)師、YLearn 團(tuán)隊(duì)主要負(fù)責(zé)人楊健和九章云極 DataCanvas 機(jī)器學(xué)習(xí)研究員呂博晨。
從預(yù)測(cè)到?jīng)Q策，AI 走向可信與可理解
從二十世紀(jì)五十年代正式研究機(jī)器學(xué)習(xí)以來，機(jī)器學(xué)習(xí)歷經(jīng)多個(gè)發(fā)展階段，并在近十年取得快速發(fā)展。
2016 年，“AlphaGo 擊敗李世石”事件將以機(jī)器學(xué)習(xí)為代表的星空人工智能浪潮推至巔峰，并在全球范圍內(nèi)得到了廣泛關(guān)注。與此同時(shí)，全球信息化建設(shè)快速發(fā)展帶來了數(shù)據(jù)量的飛躍，以及算力的大幅度提升，這也為機(jī)器學(xué)習(xí)注入了新的能量。
不過，近兩年，機(jī)器學(xué)習(xí)無論是在學(xué)術(shù)界的基礎(chǔ)理論，還是在工業(yè)界的應(yīng)用上，突破明顯開始放緩。這個(gè)現(xiàn)象背后的本質(zhì)是，當(dāng)前的機(jī)器學(xué)習(xí)技術(shù)和通用星空人工智能中間還存在著巨大的鴻溝。具體而言，機(jī)器學(xué)習(xí)技術(shù)還存在諸多局限性，如泛化能力差、缺乏解釋性等。
泛化能力方面，機(jī)器學(xué)習(xí)模型經(jīng)常在訓(xùn)練集上效果不錯(cuò)，但在測(cè)試集上效果很差，模型本身缺少足夠的魯棒性。
從機(jī)器學(xué)習(xí)的本質(zhì)來看，機(jī)器學(xué)習(xí)擬合的是從歷史數(shù)據(jù)上觀測(cè)到的相關(guān)關(guān)系，但基于相關(guān)關(guān)系的擬合是不可靠的，甚至很多時(shí)候是偽相關(guān)。圖靈獎(jiǎng)得主 Judea Pearl 也曾表示，現(xiàn)有的機(jī)器學(xué)習(xí)模型不過是對(duì)數(shù)據(jù)的精確曲線擬合，只是在上?代的基礎(chǔ)上提升了性能，在基本的思想??沒有任何進(jìn)步。這也就導(dǎo)致模型在線上容易出現(xiàn)表現(xiàn)不穩(wěn)定、數(shù)據(jù)漂移等問題。
一個(gè)典型的例子是，某個(gè)數(shù)據(jù)集展示了尼古拉斯·凱奇拍攝的電影數(shù)量和當(dāng)年在泳池中溺水的人數(shù)，兩個(gè)數(shù)據(jù)的曲線高度重合，這樣的數(shù)據(jù)可以訓(xùn)練出來一個(gè)精準(zhǔn)度相當(dāng)高的模型。但在真實(shí)世界中，這兩個(gè)數(shù)據(jù)的相關(guān)性隨時(shí)可能失效，這就是偽相關(guān)。
“我們目前使用的機(jī)器學(xué)習(xí)算法是沒有辦法發(fā)現(xiàn)偽相關(guān)的。因此我們需要利用因果學(xué)習(xí)去補(bǔ)機(jī)器學(xué)習(xí)的短板，在特征工程的過程中利用因果關(guān)系指導(dǎo)我們發(fā)現(xiàn)更加魯棒的特征，讓模型可以有更好的泛化能力。”楊健對(duì) InfoQ 說道。此外，機(jī)器學(xué)習(xí)缺乏解釋性，而因果關(guān)系的發(fā)現(xiàn)本身就是解釋性的一部分，通過因果效應(yīng)評(píng)估，可以進(jìn)一步量化解釋干預(yù)變量和結(jié)果變量之間定量的影響。
所謂因果學(xué)習(xí)，指的是讓機(jī)器具備因果思維，通過輸入數(shù)據(jù)，算法可以推斷某件事的前因后果，進(jìn)行反事實(shí)推理。相較傳統(tǒng)的星空人工智能，基于因果的星空人工智能更加接近通用星空人工智能。
在楊健看來，機(jī)器學(xué)習(xí)技術(shù)本身存在一定的局限性，因果學(xué)習(xí)除了能夠補(bǔ)機(jī)器學(xué)習(xí)的短板，也能解決企業(yè)對(duì)智能決策的需求。
在數(shù)字化時(shí)代，企業(yè)的目標(biāo)是盡量在決策鏈條中減少人的參與，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)決策，從而提高決策的準(zhǔn)確性和整體系統(tǒng)的運(yùn)轉(zhuǎn)效率。
簡(jiǎn)單來說，企業(yè)更需要的是自動(dòng)化的“決策”，而不僅僅是對(duì)未來的“預(yù)測(cè)”。而當(dāng)前的機(jī)器學(xué)習(xí)以相關(guān)性為基礎(chǔ)，更多解決的是預(yù)測(cè)性分析，對(duì)未來結(jié)果做出預(yù)測(cè)。在面對(duì)需要因果關(guān)系為前提的決策性問題時(shí)顯得力不從心，還很難滿足自動(dòng)化決策的需求，無法提供有效的行動(dòng)策略選項(xiàng)。因此，要做出數(shù)據(jù)驅(qū)動(dòng)的決策，理解因果關(guān)系是關(guān)鍵。
圖靈獎(jiǎng)得主 Judea Pearl 也曾表示：“目前有太多深度學(xué)習(xí)項(xiàng)目都單純關(guān)注缺少因果關(guān)系的粗糙關(guān)聯(lián)性，這常常導(dǎo)致深度學(xué)習(xí)系統(tǒng)在真實(shí)條件下進(jìn)行測(cè)試時(shí)，往往拿不出良好的實(shí)際表現(xiàn)。”Judea Pearl 還在他的新書《The Book of Why: The New Science of Cause and Effect》中提到，“如果沒有對(duì)因果關(guān)系的推理能力，AI 的發(fā)展將從根本上受到限制。”
目前，在學(xué)術(shù)研究方面，因果學(xué)習(xí)已經(jīng)在計(jì)算機(jī)視覺(CV)、自然語言處理(NLP)等方向取得多個(gè)研究成果，計(jì)算機(jī)視覺頂級(jí)會(huì)議 CVPR 中的一些研究也是圍繞著深度學(xué)習(xí)如何利用因果關(guān)系來改進(jìn)它的表征學(xué)習(xí)，如何有效地去除偽相關(guān)性等方面進(jìn)行研究。
此外，因果學(xué)習(xí)和強(qiáng)化學(xué)習(xí)也有一些相關(guān)的研究進(jìn)展。傳統(tǒng)的強(qiáng)化學(xué)習(xí)基本原理就是在一個(gè)模擬環(huán)境模型中不斷的試錯(cuò)和學(xué)習(xí)，大家普遍認(rèn)為這是一個(gè)非常暴力的訓(xùn)練方式，這也是強(qiáng)化學(xué)習(xí)飽受詬病之處。
“我們把因果關(guān)系引入到強(qiáng)化學(xué)習(xí)里，可以有效地收縮它的試錯(cuò)空間，大幅提高學(xué)習(xí)效率，降低算力成本。”楊健表示，“總的來說，因果學(xué)習(xí)和機(jī)器學(xué)習(xí)二者并不是替代關(guān)系，而是互補(bǔ)關(guān)系。實(shí)際上，因果學(xué)習(xí)在近幾年之所以能夠高速發(fā)展，也是得益于機(jī)器學(xué)習(xí)提供的一些支撐，甚至很多因果學(xué)習(xí)新的研究成果也是需要借助于機(jī)器學(xué)習(xí)算法來實(shí)現(xiàn)的。”
除深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)之外，因果學(xué)習(xí)在其他領(lǐng)域，如對(duì)抗學(xué)習(xí)、元學(xué)習(xí)、多任務(wù)學(xué)習(xí)（推薦場(chǎng)景）等方向的研究也比較有前景。
開源YLearn因果學(xué)習(xí)開源項(xiàng)目 的技術(shù)實(shí)踐
正是觀察到因果學(xué)習(xí)從 2019 年開始在學(xué)術(shù)研究上陸續(xù)取得成果，涉及到因果關(guān)系的論文數(shù)量每年都在翻倍增長(zhǎng)，同時(shí)結(jié)合工業(yè)界在落地星空人工智能時(shí)遇到的問題，九章云極 DataCanvas 決定把因果學(xué)習(xí)作為 AutoML 之后的一個(gè)主要突破方向，并于 2021 年 6 月開始規(guī)劃 YLearn 開源項(xiàng)目。2022 年 7 月 12 日，YLearn 正式發(fā)布。
YLearn 是“learn why”的雙關(guān)語，又稱因果學(xué)習(xí)算法工具包，是一個(gè)完整實(shí)現(xiàn)因果推斷流程的開源Python 包，目的是通過數(shù)據(jù)發(fā)現(xiàn) why 和 what if 問題，力求解決因果推斷最核心的五個(gè)問題：因果發(fā)現(xiàn)、因果量識(shí)別、因果效應(yīng)估計(jì)、反事實(shí)推斷和策略學(xué)習(xí)。同時(shí)，YLearn 還提供了重要模塊的可視化輸出，如因果圖、因果效應(yīng)解釋、決策樹等，幫助用戶更直觀地理解數(shù)據(jù)、調(diào)整策略，最終實(shí)現(xiàn)預(yù)期。
“因果學(xué)習(xí)沒有被廣泛使用的一個(gè)主要原因就是門檻太高，這個(gè)領(lǐng)域的人才比機(jī)器學(xué)習(xí)、深度學(xué)習(xí)更稀缺，又缺乏比較完整的易用的工具包，那么我們就從這個(gè)痛點(diǎn)出發(fā)。有了 YLearn 最初的構(gòu)想。”楊健表示，從因果學(xué)習(xí)的開源社區(qū)來看，目前的開源工具都只能解決因果學(xué)習(xí)幾個(gè)主要任務(wù)中的部分問題，還沒有一個(gè)端到端的全 pipeline 的完整工具包，“我們目前主要的精力投入是在開源項(xiàng)目的開發(fā)上，我們的愿景是希望 YLearn 能成為像 scikit-learn 在機(jī)器學(xué)習(xí)領(lǐng)域這樣的一個(gè)因果學(xué)習(xí)的必選工具”。
YLearn 的研發(fā)歷程
據(jù)呂博晨介紹，YLearn 的整個(gè)研發(fā)歷程一共經(jīng)歷了三個(gè)階段：
第一階段，對(duì)現(xiàn)有工具進(jìn)行調(diào)研，對(duì)前沿進(jìn)展展開研究。
在這個(gè)時(shí)期，團(tuán)隊(duì)成員主要對(duì)現(xiàn)有的因果推斷工具進(jìn)行調(diào)查和研究，從而形成產(chǎn)品的大致思路。“我們?cè)谡{(diào)查的過程中發(fā)現(xiàn)，當(dāng)前多數(shù)因果推斷工具只能做因果推斷中的一類或兩類步驟，用戶想實(shí)現(xiàn)一個(gè)完整的因果推斷流程，需要切換到不同的工具，再拼接成一個(gè)完整的流程，十分麻煩。”呂博晨表示，YLearn 最初的設(shè)計(jì)思路就是希望能提供一個(gè)更完整的因果學(xué)習(xí)算法工具包，并且支持學(xué)術(shù)界和工業(yè)界最新的各類算法，保持實(shí)時(shí)更新。
第二階段，設(shè)計(jì)原型驗(yàn)證機(jī)，實(shí)現(xiàn)最基礎(chǔ)算法。
有了設(shè)計(jì)思路后，團(tuán)隊(duì)開始設(shè)計(jì)原型驗(yàn)證機(jī)，做了一個(gè)全流程的粗糙版本，并實(shí)現(xiàn)一些基礎(chǔ)算法，比如最基本的后門調(diào)整算法，以及一些很粗糙的 Meta-Learner 算法等等。“原形驗(yàn)證機(jī)的主要任務(wù)就是驗(yàn)證想法的可行性，并將因果校驗(yàn)識(shí)別、因果校驗(yàn)估計(jì)流程串起來，這一階段進(jìn)一步確認(rèn)了最初的‘實(shí)現(xiàn)一個(gè)完整因果學(xué)習(xí)工具包’的想法。”
第三階段，豐富各類算法，統(tǒng)一 API 和增加實(shí)用功能支持。
原形驗(yàn)證機(jī)設(shè)計(jì)實(shí)現(xiàn)后，需要進(jìn)一步豐富和完善產(chǎn)品功能，增加易用性，調(diào)整和統(tǒng)一 API 接口，并且增加各類測(cè)試用例和使用樣例，增加各類實(shí)用功能，比如 policy 模型和一個(gè)完整的 API Why。“在 Why 這個(gè) API 里，用戶可以完整地使用因果推斷的各個(gè)相關(guān)功能，而不需要去預(yù)先了解 YLearn 甚至是因果推斷的各類細(xì)化概念，比如什么是 adjustment set, 在最簡(jiǎn)單的情況下，用戶只需要輸入一個(gè)數(shù)據(jù)集給 Why 就可以使用了。”
當(dāng)前，團(tuán)隊(duì)的短期目標(biāo)就是提高 YLearn 的成熟度，實(shí)現(xiàn)可用、好用、易用，在特性的完整性、算法效率、穩(wěn)定性等方面，YLearn 還需要迭代幾個(gè)版本。
至于長(zhǎng)期目標(biāo)，團(tuán)隊(duì)也規(guī)劃了幾個(gè)方向。一方面，Causal Machine Learning 利用 YLearn 去補(bǔ)機(jī)器學(xué)習(xí)的短板，另一方面，Automated Causal Learning 讓 YLearn 也具備自動(dòng)化的能力，進(jìn)一步降低使用門檻。此外還有決策圖譜，這是一個(gè)能夠把企業(yè)的關(guān)鍵運(yùn)營(yíng)指標(biāo)和可干預(yù)變量構(gòu)建出一個(gè)基于因果關(guān)系的圖譜，通過可視化的交互式方式來推演各種決策動(dòng)作對(duì)運(yùn)營(yíng)指標(biāo)帶來的影響。
YLearn 的算法模塊設(shè)計(jì)、特性與應(yīng)用
算法模塊設(shè)計(jì)方面，YLearn 主要包含 5 個(gè)模塊：因果發(fā)現(xiàn)(Causal Discovery)、因果模型（CausalModel）、估計(jì)模型（EstimatorModel）、政策模型（Policy ）、解釋器（Interpreter）。
從訓(xùn)練數(shù)據(jù)開始，首先使用因果發(fā)現(xiàn)揭示數(shù)據(jù)中的因果結(jié)構(gòu)，通常會(huì)輸出一個(gè)因果圖，然后將因果圖傳遞到因果模型，在其中識(shí)別感興趣的因果效應(yīng)并將其轉(zhuǎn)換為統(tǒng)計(jì)估計(jì)值。并用訓(xùn)練數(shù)據(jù)訓(xùn)練估計(jì)模型以模擬因果效應(yīng)和其他變量之間的關(guān)系，即估計(jì)訓(xùn)練數(shù)據(jù)中的因果效應(yīng)。然后可以使用經(jīng)過訓(xùn)練的估計(jì)模型來預(yù)測(cè)一些新測(cè)試數(shù)據(jù)集中的因果效應(yīng)，并評(píng)估分配給每個(gè)人的策略或解釋估計(jì)的因果效應(yīng)。
目前業(yè)界主要有兩套因果模型：Judea Pearl 的結(jié)構(gòu)因果模型（因果圖）和 Donald Rubin 的潛在結(jié)果模型。在因果表示與因果效應(yīng)識(shí)別階段，YLearn 主要采用因果圖模型 (Causal Graphical Model)這一表示，能方便地支持因果圖的各類操作，達(dá)成因果效應(yīng)識(shí)別。此外，由于一般的因果效應(yīng)識(shí)別也是基于因果圖模型，YLearn 在這一階段選擇因果圖模型也能支持這一方法。
而在因果效應(yīng)估計(jì)階段，YLearn 主要采用依賴于結(jié)構(gòu)公式模型，因?yàn)橐蚬麍D與結(jié)構(gòu)公式模型為對(duì)應(yīng)關(guān)系，而結(jié)構(gòu)公式模型在估計(jì)方面表述更為方便。
“目前來說，最大的問題是無混淆假設(shè)的檢驗(yàn)性問題，對(duì)于這個(gè)問題，一方面，可以通過學(xué)界的進(jìn)一步研究解決，另一方面，YLearn 提供一種近似估計(jì)的手段，可以一定程度上確定一個(gè)因果效應(yīng)的范圍，幫助理解。”呂博晨說道。此外，YLearn 還提供了重要模塊的可視化輸出，如因果圖、因果效應(yīng)解釋、決策樹等，幫助用戶更直觀地理解數(shù)據(jù)、調(diào)整策略，最終實(shí)現(xiàn)預(yù)期。
特性方面，YLearn 主要具備以下三個(gè)特性：
一站式。通常的因果學(xué)習(xí)流程包括從數(shù)據(jù)中發(fā)現(xiàn)因果結(jié)構(gòu)，對(duì)因果結(jié)構(gòu)建立因果模型，使用因果模型進(jìn)行因果效應(yīng)識(shí)別和對(duì)從數(shù)據(jù)中對(duì)因果效應(yīng)進(jìn)行估計(jì)。YLearn一站式地支持這些功能，使用戶以最低的學(xué)習(xí)成本使用與部署因果學(xué)習(xí)。
新而全。YLearn 實(shí)現(xiàn)了多個(gè)近年來在因果學(xué)習(xí)領(lǐng)域中發(fā)展出的各類算法，例如Meta-Learner、Double Machine Learning 等。也將一直致力于緊跟前沿進(jìn)展，保持因果識(shí)別與估計(jì)模型的先進(jìn)和全面。
用途廣。YLearn 支持對(duì)估計(jì)得到的因果效應(yīng)進(jìn)行解釋、根據(jù)因果效應(yīng)在各種方案中選取收益最大的方案并可視化決策過程等功能。除此之外，YLearn 也支持將因果結(jié)構(gòu)中識(shí)別出的因果效應(yīng)的概率分布表達(dá)式以 LaTex 的形式輸出等小功能，幫助用戶將因果學(xué)習(xí)與其他方向交叉。
應(yīng)用方面，楊健認(rèn)為，從普遍意義上講，只要是需要決策支持的這類任務(wù)都可以使用 YLearn 來完成，如彈性定價(jià)、客戶挽留、產(chǎn)品推薦、廣告等等，使用的前提條件和機(jī)器學(xué)習(xí)一樣，準(zhǔn)備好符合要求的數(shù)據(jù)就可以。
“因果學(xué)習(xí)中有一個(gè)重要的應(yīng)用就是 Uplift 建模，直接字面理解就是提升建模，非常適合用在精準(zhǔn)營(yíng)銷上面，可以提升 ROI（投入產(chǎn)出比）。”
楊健表示，提升建模的核心是把目標(biāo)用戶分到 4 個(gè)象限里，舉個(gè)例子：某個(gè)產(chǎn)品有四類用戶，第一類是無論是否收到產(chǎn)品推薦信息，都確定會(huì)購(gòu)買的用戶；第二類是無論是否收到產(chǎn)品推薦信息，都確定不會(huì)購(gòu)買的用戶；第三類是收到產(chǎn)品推薦信息，會(huì)產(chǎn)生購(gòu)買行為的用戶；第四類是收到產(chǎn)品推薦信息，會(huì)取消產(chǎn)品訂閱的用戶。對(duì)于第一、二、四類用戶，商家可以節(jié)約營(yíng)銷成本，不觸達(dá)他們，因?yàn)閷?duì)這三類用戶投入成本的收益幾乎是0。而對(duì)于第三類用戶，則需要重點(diǎn)觸達(dá)，促進(jìn)購(gòu)買行為。
“機(jī)器學(xué)習(xí)模型是是沒辦法完成這個(gè)任務(wù)的。我們需要通過因果學(xué)習(xí)里面的異質(zhì)化因果效應(yīng)評(píng)估，也就是 CATE 來完成，而且還可以更進(jìn)一步，對(duì)于這類用戶用哪種營(yíng)銷手段收益更高，也是可以學(xué)習(xí)出來的，甚至不同的用戶可以有不同的策略，最后我們可以綜合性的提高總體投入產(chǎn)出比了。這是一個(gè)很典型的 YLearn 的應(yīng)用場(chǎng)景。”楊健介紹道。
寫在最后
雖然因果學(xué)習(xí)已經(jīng)證明了其存在的價(jià)值，但在當(dāng)前，因果學(xué)習(xí)還并未被業(yè)界廣泛采用。正如前文所言，因果學(xué)習(xí)沒有被廣泛使用的主要原因就是門檻太高，這個(gè)領(lǐng)域的人才比機(jī)器學(xué)習(xí)、深度學(xué)習(xí)更稀缺。
“我們看到有很多討論說現(xiàn)在的算法工程師不香了，其實(shí)這句話的背后就是機(jī)器學(xué)習(xí)在現(xiàn)實(shí)落地過程中遇到了一些問題，無法解決實(shí)際的問題，這也是我們要研究因果學(xué)習(xí)的原因。我覺得對(duì)個(gè)人來講，如果在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)領(lǐng)域遇到困惑了，不妨投入到因果學(xué)習(xí)方向上，這是一個(gè)非常有前途的方向。”楊健說道。
那么，技術(shù)人要想往因果學(xué)習(xí)領(lǐng)域發(fā)展，需要具備哪些專業(yè)素質(zhì)？
呂博晨表示，因果學(xué)習(xí)需要技術(shù)人具備廣泛的知識(shí)面，并且要對(duì)經(jīng)典的機(jī)器學(xué)習(xí)算法和理論有一定的認(rèn)識(shí)。“如果想在因果學(xué)習(xí)領(lǐng)域做出一些成績(jī)的話，需要具備的基本素質(zhì)包括深度和廣度兩方面。既要掌握機(jī)器學(xué)習(xí)、深度學(xué)習(xí)本身的基本概念，也要具備統(tǒng)計(jì)學(xué)基礎(chǔ)，這樣更容易進(jìn)入因果學(xué)習(xí)這個(gè)領(lǐng)域。另外重要的一點(diǎn)是，要有足夠的興趣和熱情，全身心地投入在這一領(lǐng)域，扎扎實(shí)實(shí)地在這一領(lǐng)域深耕。”
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁 > 新聞 » 因果學(xué)習(xí)將開啟下一代AI浪潮?九章云極DataCanvas正式發(fā)布YLearn因果學(xué)習(xí)開源項(xiàng)目