深度強(qiáng)化學(xué)習(xí)——一種通過(guò)使用獎(jiǎng)勵(lì)來(lái)驅(qū)動(dòng)代理實(shí)現(xiàn)目標(biāo)的算法訓(xùn)練技術(shù)——在基于視覺(jué)的導(dǎo)航領(lǐng)域顯示出巨大的潛力。科羅拉多大學(xué)的研究人員最近發(fā)布了一個(gè)系統(tǒng)，可以幫助星空機(jī)器人從相機(jī)鏡頭中找到行走路徑的方向，蘇黎世聯(lián)邦理工學(xué)院的科學(xué)家們?cè)?月份的一篇論文中描述了一種機(jī)器學(xué)習(xí)框架，它有助于四足星空機(jī)器人被絆倒時(shí)從地面爬起來(lái) 。
但是，如果將這種AI功能應(yīng)用于無(wú)人機(jī)，它的表現(xiàn)會(huì)不會(huì)和在地面上的星空機(jī)器人一樣出色呢?加州大學(xué)伯克利分校的一個(gè)研究小組開(kāi)始尋找答案。
在Arxiv預(yù)印本服務(wù)器上出版的最新一期論文(《通過(guò)模擬泛化:將模擬和實(shí)際數(shù)據(jù)集成到深強(qiáng)化學(xué)習(xí)應(yīng)用自主飛行》(Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight))，該團(tuán)隊(duì)提出了一個(gè)“混合”深強(qiáng)化學(xué)習(xí)算法，該算法將從用于指導(dǎo)四軸飛行器導(dǎo)航地毯走廊中獲得數(shù)據(jù)結(jié)合在一起。
論文作者寫(xiě)道:“在這項(xiàng)工作中，我們……的目標(biāo)是設(shè)計(jì)一種學(xué)習(xí)無(wú)人機(jī)物理行為的轉(zhuǎn)移學(xué)習(xí)算法。本質(zhì)上，真實(shí)世界的經(jīng)驗(yàn)是用來(lái)學(xué)習(xí)如何飛行的，而模擬的經(jīng)驗(yàn)是用來(lái)學(xué)習(xí)如何推廣的。”
為什么使用模擬數(shù)據(jù)?正如研究人員指出的，泛化嚴(yán)重依賴于數(shù)據(jù)集的大小和多樣性。一般來(lái)說(shuō)，數(shù)據(jù)的數(shù)量和多樣性越大，性能就越好，獲取真實(shí)數(shù)據(jù)既耗時(shí)又昂貴。但模擬數(shù)據(jù)存在一個(gè)問(wèn)題，而且是一個(gè)大問(wèn)題:相對(duì)于飛行數(shù)據(jù)，模擬數(shù)據(jù)的質(zhì)量本質(zhì)上較低——復(fù)雜的物理和氣流往往建模很差，或者根本就沒(méi)有建模。
研究人員的解決方案是利用真實(shí)世界的數(shù)據(jù)來(lái)訓(xùn)練該系統(tǒng)的動(dòng)力學(xué)，利用模擬數(shù)據(jù)來(lái)學(xué)習(xí)一種可推廣的感知策略。他們的機(jī)器學(xué)習(xí)體系結(jié)構(gòu)由兩部分組成:一個(gè)從模擬中傳輸視覺(jué)特征的感知子系統(tǒng)，以及一個(gè)用真實(shí)數(shù)據(jù)進(jìn)行反饋的控制子系統(tǒng)。
為了訓(xùn)練模擬策略，該研究小組使用了斯坦福大學(xué)的Gibson模擬器，該模擬器包含多種3D掃描環(huán)境(研究人員收集了16種環(huán)境中的數(shù)據(jù))，并使用攝像機(jī)模擬了一個(gè)虛擬四軸飛行器，其動(dòng)作直接控制攝像機(jī)的姿態(tài)。他們擁有1700萬(wàn)個(gè)模擬收集的數(shù)據(jù)點(diǎn)，當(dāng)所有準(zhǔn)備工作就緒后，通過(guò)在加州大學(xué)伯克利分?？评锎髲d5樓的一個(gè)走廊上運(yùn)行模擬訓(xùn)練的政策，他們結(jié)合了14000個(gè)數(shù)據(jù)點(diǎn)。
僅用一個(gè)小時(shí)的真實(shí)數(shù)據(jù)，該研究小組就證明了星空人工智能系統(tǒng)可以引導(dǎo)27克的四軸飛行器Crazyflie 2.0在全新的環(huán)境中飛行，并幫助它避免碰撞。指引它在真實(shí)世界中運(yùn)行的唯一窗口是一架單眼照相機(jī);它通過(guò)一個(gè)無(wú)線到USB的加密狗(dongle)與附近的一臺(tái)筆記本電腦通訊。
研究人員注意到，接受過(guò)避碰和導(dǎo)航訓(xùn)練的模型比使用其他方法(如無(wú)監(jiān)督學(xué)習(xí)和大型圖像識(shí)別項(xiàng)目的訓(xùn)練技術(shù))表現(xiàn)的更好。此外，該星空人工智能系統(tǒng)確實(shí)出現(xiàn)了失誤，不過(guò)這通常也是“合理”的——例如，在30%的彎曲走廊試驗(yàn)中，四軸飛行器撞上了一扇玻璃門(mén)。
論文作者寫(xiě)道:“我們(的工作)的主要貢獻(xiàn)是將大量的模擬數(shù)據(jù)與少量的現(xiàn)實(shí)經(jīng)驗(yàn)結(jié)合起來(lái)，訓(xùn)練具有深度強(qiáng)化學(xué)習(xí)的自主飛行的現(xiàn)實(shí)避碰策略。”“我們的方法的基本原理是了解真實(shí)世界中這種飛行器的物理特性和動(dòng)力學(xué)，同時(shí)從模擬中學(xué)習(xí)視覺(jué)不變性和模式。”
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 新聞 » 星空人工智能系統(tǒng)引導(dǎo)無(wú)人機(jī)成功穿越陌生彎道走廊