神經(jīng)網(wǎng)絡(luò)（DNN）是一種人腦的抽象計(jì)算模型，是通過(guò)類(lèi)似生物神經(jīng)元的處理單元，以及處理單元之間的有機(jī)連接，解決現(xiàn)實(shí)世界的模式識(shí)別、聯(lián)想記憶、優(yōu)化計(jì)算等復(fù)雜問(wèn)題。常使用神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)分類(lèi)問(wèn)題。

0 神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)內(nèi)容

1）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2）激活函數(shù)

3）前向傳播算法

4）反向傳播算法

1 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)：感知機(jī)

在前面第三章感知機(jī)，我們有學(xué)到感知機(jī)的模型結(jié)構(gòu)，它是一個(gè)可有多個(gè)輸入，但只有一個(gè)輸出的模型，如圖所示:

輸入到輸出之間學(xué)習(xí)到了一個(gè)線性關(guān)系，得到中間結(jié)果輸出為：

從而得到我們想要的輸出結(jié)果1或者-1。

這個(gè)模型只能用于二元分類(lèi)，并且無(wú)法學(xué)習(xí)比較復(fù)雜的非線性模型，因此在許多方面無(wú)法使用。

神經(jīng)網(wǎng)絡(luò)在感知機(jī)上做了擴(kuò)展，主要體現(xiàn)在：

1）隱藏層，相比感知機(jī)的直接輸入到輸出，共兩層，神經(jīng)網(wǎng)絡(luò)加入了隱藏層，結(jié)構(gòu)為輸入到隱藏層，在由隱藏層到輸出層。其中隱藏層可以有多層，可增強(qiáng)模型的表達(dá)能力。當(dāng)然，隱藏層越多，模型就越復(fù)雜。

如圖，這個(gè)神經(jīng)網(wǎng)絡(luò)中有兩個(gè)隱藏層，每個(gè)隱藏層都會(huì)進(jìn)行非線性變換(線性變換+激活函數(shù)）。一層傳遞給另一層，直到輸出。

2）激活函數(shù)不再只使用示性函數(shù)，原因在于該激活函數(shù)處理能力有限，輸出結(jié)果只有一個(gè)，這在隱藏層到隱藏層，或者隱藏層到輸出層是不能適用的，也不能為我們的分類(lèi)結(jié)果作強(qiáng)有力的解釋。在神經(jīng)網(wǎng)絡(luò)中，我們常使用的激活函數(shù)有：

2 神經(jīng)網(wǎng)絡(luò)

2.1 基本結(jié)構(gòu)

從上一節(jié)，我們了解了神經(jīng)網(wǎng)絡(luò)是感知機(jī)的擴(kuò)展，可以將神經(jīng)網(wǎng)絡(luò)看成是多層感知機(jī)模型。

從圖中，每個(gè)圓圈代表一個(gè)神經(jīng)元，可得知層與層之間的神經(jīng)元是全連接的，也就是說(shuō)，第i層的任意一個(gè)神經(jīng)元一定與第i+1層的任意一個(gè)神經(jīng)元相連。從上一層的神經(jīng)元到下一層的神經(jīng)元，還是和感知機(jī)一樣，經(jīng)過(guò)一個(gè)線性關(guān)系

例：下面有個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)計(jì)算圖：

2.2 前向傳播神經(jīng)網(wǎng)絡(luò)算法

由于神經(jīng)網(wǎng)絡(luò)層數(shù)比較多，那么所用到的線性關(guān)系也就會(huì)有很多，即參數(shù)w和b有許多。那么在神經(jīng)網(wǎng)絡(luò)中如何定義這些參數(shù)呢？

這就需要神經(jīng)網(wǎng)絡(luò)進(jìn)行反向傳播，可通過(guò)梯度下降法來(lái)更新參數(shù)。

2.3 反向傳播的神經(jīng)網(wǎng)絡(luò)

在進(jìn)行神經(jīng)網(wǎng)絡(luò)的反向傳播前，我們需要選擇一個(gè)損失函數(shù)，來(lái)度量訓(xùn)練樣本計(jì)算出的輸出和真實(shí)的訓(xùn)練樣本輸出之間的損失，那訓(xùn)練樣本計(jì)算出的輸出是怎么來(lái)的呢？其實(shí)就是我們隨機(jī)選擇了參數(shù)W，b后進(jìn)行前向傳播算法得出，即我們上一節(jié)中的aL。

2.3.1 損失函數(shù)及參數(shù)更新

在神經(jīng)網(wǎng)絡(luò)中，我們常使用均方誤差來(lái)度量損失，即對(duì)于每個(gè)樣本，有：

2.3.2 神經(jīng)網(wǎng)絡(luò)反向傳播算法過(guò)程

這就是我們的神經(jīng)網(wǎng)絡(luò)，是一種有監(jiān)督學(xué)習(xí)，自主學(xué)習(xí)訓(xùn)練集中的特征，然后利用自己所學(xué)去判斷新樣本的類(lèi)型。

3 神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)：

3.1 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)：

1）實(shí)現(xiàn)從輸入到輸出的映射功能，在數(shù)學(xué)理論上已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能，適用于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題；

2）通過(guò)學(xué)習(xí)實(shí)例集自動(dòng)提取特征，即具有自學(xué)習(xí)能力；

3）具有一定的推廣、概括能力。

4）適用于處理大數(shù)據(jù)。

3.2 神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)：

1）神經(jīng)網(wǎng)絡(luò)需要許多標(biāo)記樣本，數(shù)量以百萬(wàn)記，且學(xué)習(xí)速度很慢

2）“黑盒子”性質(zhì)，也就是說(shuō)神經(jīng)網(wǎng)絡(luò)是如何以及為什么會(huì)產(chǎn)生一定的輸出。這解釋性不強(qiáng)。

3）計(jì)算代價(jià)高昂，對(duì)計(jì)算機(jī)硬件要求高，費(fèi)時(shí)長(zhǎng)。

4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用：

1）醫(yī)學(xué)領(lǐng)域：建立神經(jīng)網(wǎng)絡(luò)使檢測(cè)儀器自動(dòng)判斷腫瘤為良性還是惡性

2）計(jì)算機(jī)視覺(jué)

3）文本分布式表示

4）語(yǔ)音識(shí)別

參考文獻(xiàn)

[1] https://www.cnblogs.com/lliuye/p/9486500.html

[2] https://www.cnblogs.com/pinard/p/6422831.html

[3] https://www.cnblogs.com/pinard/p/6418668.html

[4] https://www.jianshu.com/p/798b716f0f68

(部分文字、圖片來(lái)自網(wǎng)絡(luò)，如涉及侵權(quán)，請(qǐng)及時(shí)與我們聯(lián)系，我們會(huì)在第一時(shí)間刪除或處理侵權(quán)內(nèi)容。電話：4006770986    負(fù)責(zé)人：張明）