深度學(xué)習(xí)目前在圖像處理領(lǐng)域有著非常好的應(yīng)用和研究，在醫(yī)學(xué)領(lǐng)域可以用它在極早期判斷癌癥；在安防領(lǐng)域，可以用它來快速檢索目標(biāo)任務(wù)，進(jìn)行可疑或危險(xiǎn)人物的檢測與抓捕；在金融領(lǐng)域，可以較好的分析風(fēng)險(xiǎn)風(fēng)控等。
但是今天不說這么深奧的知識，我們今天來說的是一個能有程序取悅我們女朋友的“黑科技”！這一招叫藝術(shù)風(fēng)格變換，就是你點(diǎn)擊一下，就可以把你女朋友的大頭照換成一個畢加索的后現(xiàn)代藝術(shù)作品（當(dāng)然是取代還是找打要看你的藝術(shù)品位）。
藝術(shù)風(fēng)格遷移是一個古老而現(xiàn)代的主題 ，多少藝術(shù)家為了描摹他人作品而競折腰。在出現(xiàn)了深度學(xué)習(xí)之后，通過簡單的訓(xùn)練就可以完成這個簡單的任務(wù)，接下來，說說何玩轉(zhuǎn)基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移。
其實(shí)風(fēng)格遷移就是把一張圖片的內(nèi)容和另一個圖片的風(fēng)格進(jìn)行合成的一個方法，比如說你給出一個貓的圖片和一個梵高的自畫像，就可以生成一只梵高畫像版本的貓。
在深度學(xué)習(xí)沒有應(yīng)用在該領(lǐng)域之前，機(jī)器視覺的工程師就嘗試用各種濾鏡提取圖像的紋理信息或者用傳統(tǒng)的機(jī)器學(xué)習(xí)方法提取，得到的紋理特征再經(jīng)過某些變換放回到原始圖片中，就得到了一個新的風(fēng)格圖片。
深度學(xué)習(xí)所作的事情，是把整個過程自動化智能化了。我們利用卷積網(wǎng)絡(luò)的深層結(jié)構(gòu)去提取圖片的信息，來替代之前的各種濾鏡或機(jī)器學(xué)習(xí)方法?！?/span>
首先，現(xiàn)在的卷積神經(jīng)網(wǎng)絡(luò)在分類任務(wù)中，表現(xiàn)的非常出色，所以利用現(xiàn)在流行的網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，可以學(xué)習(xí)很多豐富的有用信息，而這些豐富、抽象的信息正好是風(fēng)格遷移的基礎(chǔ)。
可視化CNN的各層級結(jié)構(gòu)，會發(fā)現(xiàn)不同階段的可視化是不一樣的，越是底層的，就越接近輸入圖像的紋理信息，如同物品的材質(zhì)；然而，越是上層的，就越接近實(shí)際內(nèi)容（比較抽象，比較顯著），如同物品的種類。
研究人員在Visualizing CNN 2014 提出了，如下就是部分的可視化效果圖：
底層神經(jīng)元關(guān)心畫面的材質(zhì)
深層神經(jīng)元關(guān)心物品的種類
現(xiàn)在整個框架就變得特別簡單明了，只要用CNN提取圖像的豐富特征信息就可以實(shí)現(xiàn)，主要通過一張圖像的底層信息和另一張圖像的高層信息結(jié)合，然后就可以簡單實(shí)現(xiàn)。
用框架中間層的特征信息恢復(fù)的內(nèi)容，可以看到，不同層里都可以找到風(fēng)格和內(nèi)容有關(guān)的信息， 但是層次越深， 具體的信息就越少， 可以通過一個已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)， 把一張風(fēng)格圖片和內(nèi)容圖片的信息都提取出來， 然后結(jié)合在一起！
這里用已經(jīng)訓(xùn)練好的VGG網(wǎng)絡(luò)，一種非常流行的CNN圖像分類框架，預(yù)先設(shè)定好一個損失函數(shù)，然后再進(jìn)行反向傳播
在進(jìn)行梯度回傳，這里也不例外，我們可以通過設(shè)定合理的損失函數(shù)，來解決問題。
這個損失函數(shù)，正是一種能夠測量生成圖片與風(fēng)格圖片，內(nèi)容圖片距離的函數(shù)。
看我們?nèi)绾卧O(shè)定這樣一個函數(shù)。既然我們的深度卷積網(wǎng)絡(luò)可以做到測量與內(nèi)容有關(guān)的特征，那么我們只需要在這個層次上找一下特征向量的距離就好了?！?/span>
圖像無非是高維空間的一個點(diǎn)，通過神經(jīng)網(wǎng)絡(luò)變換再經(jīng)過特定降維方法處理后我們可以給它轉(zhuǎn)化成二維曲面上的一個點(diǎn)， 我們會發(fā)現(xiàn)，在這個世界里， 狗在狗的國度 ， 貓?jiān)谪埖膰取?而我們只需要度量不同圖像的空間距離，就測量了內(nèi)容的相似度。
然后呢，如何搞定風(fēng)格，風(fēng)格通常是一個藝術(shù)家眼中主關(guān)的有點(diǎn)虛無縹緲的概念，也就是我們通常說的感覺，比如梵高或者莫奈的畫，你沒有經(jīng)過藝術(shù)熏陶也可以得來。
而在深度學(xué)習(xí)的角度下，這種感覺卻發(fā)現(xiàn)與不同神經(jīng)元活動的相關(guān)性有關(guān)！也就是說，風(fēng)格是深度網(wǎng)絡(luò)神經(jīng)元活動的某種統(tǒng)計(jì)特性！悄悄的，我們把藝術(shù)和數(shù)學(xué)對接上了。（ 統(tǒng)計(jì)果然是上帝的語言啊有木有！）、
這里我們借助一個叫g(shù)ram矩陣的數(shù)學(xué)工具，它通過測量同一層卷積輸出不同通道之間的相關(guān)性（計(jì)算不同通道間的相關(guān)性，組成一個矩陣）給出一個對風(fēng)格的度量。然后，我們在測量一下風(fēng)格之間的距離不就行了嗎？
把CNN某一層對應(yīng)不同特征的神經(jīng)元像攤煎餅一樣攤開， 然后計(jì)算之間的相關(guān)性：
得到一個矩陣，矩陣的每個元素對應(yīng)不同特征間的相關(guān)性：
這個損失函數(shù)就是gram 矩陣之間的距離！
注意，衡量風(fēng)格之間的距離，我們是把不同網(wǎng)絡(luò)層級間的gram矩陣的距離都計(jì)算一下加在一起，這樣可以把不同層次度量的東西綜合起來。
好了，到這一步，大功告成，把兩個損失函數(shù)疊加在一起就好了。
目標(biāo)函數(shù)的設(shè)計(jì)學(xué)問可大了，改變a和b的比例就能造成很多區(qū)別，大家注意風(fēng)格圖片的比例越高，圖像就越紋理化。
風(fēng)格的權(quán)重變大的時候， 那圖像就變成了意大利瓷磚！
然后我們可以做什么呢？梯度下降！但注意，這里我們優(yōu)化的目標(biāo)不是網(wǎng)絡(luò)權(quán)重而是圖像本身，這樣我們就大功告成了！
當(dāng)然這里說的只是風(fēng)格遷移的一種，這種方法的優(yōu)點(diǎn)是通俗易懂，而缺點(diǎn)是速度很慢。
還有一個方法，是借用生成網(wǎng)絡(luò)，直接給搞出來，這個方法更快速，更加適合工業(yè)封裝。我來給大家展示一下這個方法的實(shí)質(zhì)。
像不像GAN的結(jié)構(gòu)
哈哈，這樣我們就可以完成一幅藝術(shù)作品交給家里領(lǐng)導(dǎo)了，但是不要忘記哦， 這件事給我們的啟示絕不止這一個呀。
它給我們啟示的是，我們深層神經(jīng)編碼的機(jī)制里，深度學(xué)習(xí)的蹤影，你對風(fēng)格的認(rèn)知，其實(shí)是和內(nèi)容的認(rèn)知一樣，是可以量化的，而不像某些藝術(shù)家所言，完全主觀，與數(shù)學(xué)無關(guān)。
不僅可以量化，而且這個信息是可以獨(dú)立被提取的， 這種信息不是存在于某個神經(jīng)元之上，而是分布式的存在于多級神經(jīng)網(wǎng)絡(luò)的不同尺度之間， 通過每一層神經(jīng)元的統(tǒng)計(jì)規(guī)律表達(dá)。
雖然我們尚不知道這些猜想是否正確，他們我們?nèi)祟惿願W的視覺處理機(jī)制提供了一種聰明的理解方法。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 新聞 » 深度學(xué)習(xí)也可以取悅女友