實(shí)習(xí)記者 唐 芳

    從單挑到團(tuán)戰(zhàn)，展現(xiàn)集體協(xié)作能力

    據(jù)報(bào)道，OpenAI Five完全通過(guò)自我對(duì)戰(zhàn)來(lái)學(xué)習(xí)打游戲，每天的對(duì)戰(zhàn)量相當(dāng)于人類(lèi)的180年。也就是說(shuō)，如果人一天能打10局游戲，那么AI一天就可以打10×365×180局游戲。而且，它還創(chuàng)下了驚人的硬件消耗量紀(jì)錄：256塊圖形處理器（GPU）和12.8萬(wàn)個(gè)中央處理器（CPU）。

    中國(guó)科學(xué)院自動(dòng)化研究所研究員興軍亮告訴科技日?qǐng)?bào)記者，OpenAI Five是從去年的1V1版本上發(fā)展而來(lái)的。一開(kāi)始，AI隨便亂打，不斷試錯(cuò)。通過(guò)強(qiáng)化學(xué)習(xí)算法獲得游戲獎(jiǎng)勵(lì)信號(hào)的引導(dǎo)，一段時(shí)間后它就能發(fā)現(xiàn)并記住一些具有簡(jiǎn)單意義的動(dòng)作，然后再不斷試錯(cuò)自我提升，直到最后能夠更好地完成游戲目標(biāo)，一對(duì)一戰(zhàn)勝人類(lèi)選手。“OpenAI Five就是五個(gè)AI組成一個(gè)團(tuán)隊(duì)互相對(duì)戰(zhàn)，團(tuán)隊(duì)中的每個(gè)成員本身對(duì)應(yīng)一個(gè)獨(dú)立的AI，同樣通過(guò)強(qiáng)化學(xué)習(xí)打游戲，但在學(xué)習(xí)的過(guò)程中，每個(gè)AI會(huì)考慮用其他四個(gè)AI的策略去打，這樣五個(gè)AI就組成了一支團(tuán)隊(duì)，去跟五個(gè)人類(lèi)業(yè)余選手對(duì)戰(zhàn)。”興軍亮說(shuō)。

    至于為何每天對(duì)戰(zhàn)量是人類(lèi)的180年，興軍亮解釋，AI在學(xué)習(xí)時(shí)可以很快，比如在程序中把游戲時(shí)鐘調(diào)快100倍，那么AI打1天游戲就相當(dāng)于人類(lèi)打100天。同時(shí)，AI一秒鐘可點(diǎn)擊1萬(wàn)下，這個(gè)點(diǎn)擊速度人類(lèi)根本沒(méi)法比。但在與人類(lèi)對(duì)戰(zhàn)時(shí)，這是不允許的，必須有一定限制，比如每次點(diǎn)擊間隔不低于30—40毫秒。

    這次事件之所以被比爾·蓋茨稱為“里程碑”，是因?yàn)镺penAI Five展現(xiàn)出了類(lèi)似于人的長(zhǎng)期規(guī)劃和團(tuán)隊(duì)協(xié)作能力，也展現(xiàn)了極高的智能決策能力。

    然而，興軍亮認(rèn)為，OpenAI Five團(tuán)戰(zhàn)戰(zhàn)勝的僅僅是人類(lèi)業(yè)余選手，至多算一個(gè)“小小的”里程碑。諸多跡象表明，OpenAI Five存在多種局限性，遠(yuǎn)不如AlphaGo在圍棋上取得的里程碑式突破——“完虐”人類(lèi)頂級(jí)圍棋玩家。

    首先，OpenAI Five打5V5團(tuán)戰(zhàn)時(shí)，只能使用特定的游戲英雄，做不到隨便組合游戲角色。其次，在《星際爭(zhēng)霸》《刀塔2》這類(lèi)復(fù)雜游戲中，OpenAI Five僅僅是再次證明，在強(qiáng)化學(xué)習(xí)打游戲這件事上，星空人工智能可通過(guò)提高現(xiàn)有算力超過(guò)人類(lèi)，但在算法上并沒(méi)有太多理論創(chuàng)新。

    7月28日，OpenAI將與一組頂級(jí)玩家比賽，他們的目標(biāo)是在8月份擊敗國(guó)際頂級(jí)職業(yè)團(tuán)隊(duì)。“OpenAI有可能在短時(shí)間內(nèi)，通過(guò)自我博弈強(qiáng)化學(xué)習(xí)，再次打贏人類(lèi)頂級(jí)玩家。它此前失敗過(guò)很多次，不斷找人類(lèi)PK也是為了測(cè)試算法。不過(guò)，《刀塔2》涉及長(zhǎng)期策略規(guī)劃問(wèn)題，人類(lèi)可能更加擅長(zhǎng)。”興軍亮說(shuō)。

    打《刀塔》VS下圍棋，難度超過(guò)數(shù)個(gè)量級(jí)

    《刀塔2》游戲?qū)τ贠penAI來(lái)說(shuō)有多難？興軍亮表示，《刀塔2》由于操作和規(guī)則更為復(fù)雜，難度超過(guò)AlphaGo下圍棋的好多個(gè)數(shù)量級(jí)，5V5對(duì)戰(zhàn)難度又超過(guò)1V1對(duì)戰(zhàn)好多個(gè)數(shù)量級(jí)。

    “圍棋是確定邊界、完全信息、回合制的簡(jiǎn)單游戲，《刀塔2》是相對(duì)復(fù)雜邊界、不完全信息下、動(dòng)態(tài)的實(shí)時(shí)博弈。”興軍亮說(shuō)。

    《星際爭(zhēng)霸》和《刀塔2》都屬于實(shí)時(shí)策略游戲，這類(lèi)游戲本身存在的典型難題是角色空間非常大，決策周期長(zhǎng)，在不完全信息博弈下，要猜測(cè)對(duì)方的狀態(tài)，這要求AI嘗試計(jì)算出各種可能情況下的策略，瞬間擴(kuò)大成高維爆炸式的搜索空間。

    其次，AI團(tuán)隊(duì)協(xié)作也是一個(gè)難點(diǎn)，這意味著AI要同時(shí)控制多個(gè)單元，進(jìn)行多智能體的協(xié)作和協(xié)同，有時(shí)還要犧牲個(gè)別單元的局部利益去滿足整體利益，這是群體智能學(xué)習(xí)需要克服的重要難題。

    更深層次的難點(diǎn)是，如何通過(guò)游戲，讓AI不是靠速度，而是靠決策和推理取勝。IBM“深藍(lán)”也是依靠強(qiáng)大算力將人類(lèi)打敗。但“深藍(lán)”是對(duì)計(jì)算智能的突破，也就是算得比人類(lèi)快，下一步星空人工智能界期望在認(rèn)知智能上有新的突破。

    涉及推理決策，邁出認(rèn)知智能“一小步”

    為何有人熱衷研究游戲AI？“當(dāng)前研究得比較多的語(yǔ)音識(shí)別、人臉識(shí)別等技術(shù)屬于感知智能，要達(dá)到正確識(shí)別，只需告訴AI某事物是什么即可。然而，更難的是認(rèn)知智能，它牽涉到推理決策。”興軍亮表示。

    游戲AI涉及推理和決策問(wèn)題，同時(shí)，游戲博弈體現(xiàn)的不完全信息和動(dòng)態(tài)博弈特性是現(xiàn)實(shí)環(huán)境的一個(gè)很好模擬，加之游戲環(huán)境可控制，可快速運(yùn)行，不會(huì)造成額外損失。興軍亮認(rèn)為，“這使得游戲AI成為下一步極佳的星空人工智能驗(yàn)證平臺(tái)。”中科院自動(dòng)化所目前在進(jìn)行相關(guān)游戲AI研究，在國(guó)際《星際爭(zhēng)霸》游戲AI大賽上取得了較好成績(jī)。

    雖然OpenAI團(tuán)戰(zhàn)戰(zhàn)勝人類(lèi)業(yè)余選手，相當(dāng)于將星空人工智能的認(rèn)知智能往前推進(jìn)了一小步，但即便下一步它戰(zhàn)勝人類(lèi)頂級(jí)選手，進(jìn)一步對(duì)認(rèn)知智能做出貢獻(xiàn)，仍舊不代表認(rèn)知智能取得了真正突破。因?yàn)樗鼪](méi)有把認(rèn)知智能的問(wèn)題完全解決掉。就好比AI能夠做對(duì)一套考卷，的確可以證明分?jǐn)?shù)高，但是否能說(shuō)明其達(dá)到了很高的學(xué)習(xí)水平，還不能確定。

    “星空人工智能下一階段難題，是怎么去突破認(rèn)知智能。真正的認(rèn)知智能還有很多問(wèn)題沒(méi)有解決，比如推理過(guò)程的表示、決策優(yōu)化算法等。如何讓AI使用更少的計(jì)算量做到更好的推理和決策，讓AI消化吸收學(xué)習(xí)的速度更快等。”興軍亮認(rèn)為，無(wú)需擔(dān)心機(jī)器能在所有問(wèn)題上戰(zhàn)勝人類(lèi)，這件事離我們還相當(dāng)遙遠(yuǎn)。

    倫敦大學(xué)計(jì)算機(jī)學(xué)院教授汪軍說(shuō)，AlphaGo之后，AI領(lǐng)域的下一大挑戰(zhàn)是多智能體強(qiáng)化學(xué)習(xí)（MARL），即讓多個(gè)智能體學(xué)會(huì)合作與競(jìng)爭(zhēng)?！兜端贰缎请H爭(zhēng)霸》還有更多人熟悉的《王者榮耀》，都屬于多智能體強(qiáng)化學(xué)習(xí)。

    “游戲AI上的算法突破，可以遷移應(yīng)用在互聯(lián)網(wǎng)廣告、自動(dòng)駕駛和星空機(jī)器人導(dǎo)航等場(chǎng)景，只是沒(méi)辦法自動(dòng)適應(yīng)其他模型，比如游戲AI不可能直接去自動(dòng)駕駛。遷移過(guò)程需要人的參與，人會(huì)根據(jù)應(yīng)用特點(diǎn)，從程序上設(shè)計(jì)問(wèn)題的輸入輸出，從優(yōu)化目標(biāo)上也要做相應(yīng)調(diào)整。游戲打輸沒(méi)關(guān)系，但自動(dòng)駕駛AI算法一旦失敗，面臨的損失是人類(lèi)無(wú)法承受的，所以這些領(lǐng)域上的AI算法應(yīng)用周期會(huì)更長(zhǎng)，只有經(jīng)過(guò)更嚴(yán)格的測(cè)試，非常成熟可靠時(shí)才可以運(yùn)用。”興軍亮說(shuō)。