gan的模型

GAN的問題，曾在Wasserstein的一篇論文中得到充分表達(dá)，當(dāng)真實(shí)樣本和生成樣本的交集不可度量時，就會出現(xiàn)問題。

其實(shí)真實(shí)樣本和生成樣本不能說絕對沒有交集，而是它們的交集要么是空集要么是不可度量，因?yàn)樗且粋€低微的流形。

舉例：在一個三維的立體空間中，有一個二維平面和另一個二維平面，它們的相交是一條直線，這條直線在三維空間中是沒有體積的。現(xiàn)在假設(shè)是10000維的高維空間，我們剛才講的圖片屬于低微流形，也就是10000維空間中一個低維的超平面而已。與隨機(jī)向量產(chǎn)生的生成樣本之間，是兩個超平面，就算有交集，交集的體積也是0（這個體積是多維體積，而不是真實(shí)體積）。

這會使得我們的運(yùn)算出問題，回顧上面的公式：有真實(shí)樣本和生成樣本的分布，它們之間的交集體積為0，那么X和G(Z)幾乎沒有可度量的重合部分，這樣的數(shù)對真實(shí)樣本來說，它的分布為0，對生成樣本的分布來說，概率為0，兩個必有一個為0。我們知道對數(shù)里面取0，就會是一個負(fù)無窮，這個時候就會產(chǎn)生問題，使得訓(xùn)練進(jìn)行不下去。

這里，可以看成是log對真實(shí)樣本分布和生成樣本分布的求積分。計算過程中我們可以發(fā)現(xiàn)，這兩個分布是沒有交集的。對于特定X來說，要么分子為0，要么分母為0，最后計算都無法進(jìn)行。

JS距離是基于KL距離的，使用的是兩個分布÷2的公式。因?yàn)閮蓚€分布很有可能其中一個值為0，所以取平均數(shù)。計算發(fā)現(xiàn)，無論真實(shí)樣本還是生成樣本，兩個值一個是1，另一個就是0，結(jié)果使得JS距離為一個常數(shù)。做深度學(xué)習(xí)和神經(jīng)元網(wǎng)絡(luò)模型訓(xùn)練，我們最不希望遇到一個不變的常量，因?yàn)槿绻龅剑馕吨词且粋€無用的參數(shù)，要么它就是最后我們計算出來的損的值，如果這個值是一個常量保持不變，也就意味著我們的梯度沒有了。最后模型的訓(xùn)練就會出問題。

【W(wǎng)GAN給我們帶來的啟示】

1、不要使用基于KL距離或者JS距離的梯度。

WGAN的建議是EM距離，輸入X樣本，輸出Y，Y并不是一個0~1之間的數(shù)，而是一個圖片。這是WGAN一個創(chuàng)新的地方。

2、讓生成樣本集合和真實(shí)樣本集合之間有可度量的重疊。

比如：給真實(shí)樣本加噪音。這個噪音可以是高斯分布，也可以是平均分布。加噪音的原因是只有這樣的樣本，才和隨機(jī)生成的樣本之間有可度量的交集，才能產(chǎn)生梯度，有了梯度，就可以訓(xùn)練生成器和辨別器。

G指生成器，z代表隨機(jī)向量，x代表真實(shí)樣本。中間矩形框出的是辨別器，辨別器由Encoder和Decoder兩部分組成。

這個模型輸入的不管是真實(shí)樣本還是假樣本，都是圖片，輸出也是圖片，比較兩張圖片是否一致。大家可能覺得奇怪，這不就是復(fù)制嗎？是的，但在復(fù)制過程，先編碼生成一維向量，然后一維向量經(jīng)過解碼，恢復(fù)圖片，再與原始圖片比較，如果是真實(shí)圖片，我們希望兩張圖片完全一樣；如果是生成圖片，我們希望兩張圖片的差別越大越好。這改變了在最早GAN模型中用0和1區(qū)分真實(shí)樣本與生成樣本的做法，也避免了上面WGAN中發(fā)現(xiàn)的梯度為0的情況發(fā)生。

Encoder-Decoder中間會生成一個語義向量，這個語義向量圖上沒有畫出來，但是非常重要。這個向量可以看成是輸入向量的一個語義，因?yàn)檎掌g進(jìn)行圖像操作非常困難，但是向量之間是可以加減乘除的，這樣使得我們操作一個人臉改變他的表情，甚至變成另一張人臉的過程是平滑自然的。這就是這個語義向量做的事，如果沒有Encoder-Decoder，這個事情就做不成。

EBGAN定義了一個D(X)函數(shù)：X經(jīng)過Encoder編碼，再經(jīng)過Decoder解碼后，得到一個X的預(yù)測值，我們希望這個預(yù)測值跟X是無差別的。

在這個過程，我們希望真實(shí)樣本的輸入與輸出之間的誤差D(x)越小越好，生成樣本的輸入與輸出之間的誤差D(G(z))越大越好，整個公式就是判別器的損失函數(shù)Lost。m-D(G(z))指里面的數(shù)如果小于0，整個值就取0；如果大于0數(shù)，則這個數(shù)是幾就取幾。這么做的原因是，如果不加m-函數(shù)的限制，D(G(z))可以變成無窮大，前加負(fù)號就變成無窮小，Lost函數(shù)本來就希望無窮小，最后就會沒有最小值。用梯度下降法對這個Lost求梯度是沒有意義的，用這樣的所謂梯度去優(yōu)化模型，肯定沒有結(jié)果。所以大家在做模型時，一定要注意：可以對函數(shù)求極值，條件是這個極值能達(dá)到，而且這個極值不是正無窮也不是負(fù)無窮。

另外，把-的誤差改成+的誤差，就是對生成器的優(yōu)化。

BEGAN模型，D函數(shù)就是之前的D函數(shù)，t指的是計算過程中第幾輪訓(xùn)練，不斷進(jìn)行優(yōu)化。

小結(jié)

對GAN的研究分為兩個方向，一個是試圖使GAN的精度提高，使生成的圖片越像照片；第二個是令它的功能更強(qiáng)大。上面主要講的是第一個方向，這里再強(qiáng)調(diào)一下，GAN在質(zhì)量提高這條線上的模型，遠(yuǎn)不止上文介紹的三個。下面我們講第二個方向，GAN的應(yīng)用很強(qiáng)，從功能上，我們有哪些模型可以考慮。

二、功能方面—GAN的三種模型

這個模型的樣本是帶有標(biāo)簽的，比如輸入一個樣本，同時需要帶上性別標(biāo)簽，表示要求生成一張男人/女人的照片。這個模型是對原始GAN的一個擴(kuò)展。

對判別器的訓(xùn)練：真實(shí)樣本和標(biāo)簽，同時輸入到判別器，輸出要么是0要么是1。

對生成器的訓(xùn)練：隨機(jī)向量和標(biāo)簽，同時輸入生成器，然后標(biāo)簽和生成樣本同時輸入判別器。從輸入的結(jié)構(gòu)角度看出，真實(shí)樣本的輸入由真實(shí)樣本和標(biāo)簽組成，而假樣本的輸入也是由假樣本與標(biāo)簽組成，這個訓(xùn)練GAN模型的提高是一個比較大的進(jìn)步。

（二）Pix2Pix模型

這個模型同時也是一個應(yīng)用，它的功能是手畫一個鞋子或者包的線條，可以變成一個真實(shí)的鞋或者包的圖片。這個模型的輸入過程與上文CGAN一樣，唯一區(qū)別是不需要隨機(jī)向量，只需要把簡筆畫作為生成器的輸入。

但是Pix2Pix在訓(xùn)練時，需要簡筆畫與真實(shí)樣本，必須是成對的。比如簡筆畫是鞋子的線條，照片就需要是那張鞋子的照片，成對輸入。然而樣本的收集非常難，現(xiàn)在95%以上的時間、精力和費(fèi)用都在樣本的收集上，所以要簡筆畫與真實(shí)照片配對，非常不容易。這是Pix2Pix模型的一個重大缺陷。為解決這個缺陷，提出了CycleGAN的概念。

以上文簡筆畫為例，CycleGAN只需要兩類，一類是簡筆畫，一類是照片，不需要一一配對，其它功能與Pix2Pix完全一致。但是取消了配對的限制，使得對樣本收集的負(fù)擔(dān)大大減輕。CycleGAN模型的結(jié)構(gòu)，它有兩個判別器，兩個生成器。其中，B判別器和B生成器是為B圖片做一個GAN模型，A判別器和A生成器是為A圖片做一個GAN模型。

第一步，用A的真實(shí)樣本訓(xùn)練A判別器，用B的真實(shí)樣本訓(xùn)練B判別器，使得判別器對兩類不同真實(shí)樣本，分別都判別為1，這是從最早普通GAN模型擴(kuò)展出來的。

第二步，B真實(shí)樣本輸入A生成器，輸出假的A樣本A’，然后通過A判別器，輸出為0；第二條路徑是A真實(shí)樣本輸入B生成器，輸出假的B樣本B’，再通過B判別器，輸出為0。

第三步，B真實(shí)樣本經(jīng)過A生成器，生成假的A樣本A’，再經(jīng)過B生成器，生成假的B樣本B’，目的是使假的B樣本與B真實(shí)樣本誤差最小。注意：B’與B之間的誤差，所產(chǎn)生的梯度應(yīng)該去訓(xùn)練A生成器，而不是B生成器，因?yàn)锽生成器輸入的是A樣本，與這條路徑?jīng)]有關(guān)系，所以梯度不應(yīng)該影響B(tài)生成器，而應(yīng)該優(yōu)化A生成器。

第四步，對A樣本重復(fù)第三步驟，期望A’與A一致。如果不一致，產(chǎn)生的梯度用來訓(xùn)練B生成器，與A生成器無關(guān)。這是很巧妙的一個結(jié)構(gòu)。

（本文來源于：Boolan首席AI咨詢師—方林老師）