深度學習結構模型

區別于傳統的淺層學習，深度學習的不同在于：

(1)強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點；

(2)明確了特征學習的重要性。也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更容易。與人工規則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據豐富的內在信息。  

通過設計建立適量的神經元計算節點和多層運算層次結構，選擇合適的輸人層和輸出層，通過網絡的學習和調優，建立起從輸入到輸出的函數關系，雖然不能100%找到輸入與輸出的函數關系，但是可以盡可能地逼近現實的關聯關系。使用訓練成功的網絡模型，就可以實現我們對復雜事務處理的自動化要求。  

典型的深度學習模型有卷積神經網絡( convolutional neural network)、DBN和堆棧自編碼網絡(stacked auto-encoder network)模型等，下面對這些模型進行描述。 

卷積神經網絡模型

在無監督預訓練出現之前，訓練深度神經網絡通常非常困難，而其中一個特例是卷積神經網絡。卷積神經網絡受視覺系統的結構啟發而產生。第一個卷積神經網絡計算模型是在Fukushima的神經認知機中提出的，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，Le Cun等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡，在一些模式識別任務上得到優越的性能。至今，基于卷積神經網絡的模式識別系統是最好的實現系統之一，尤其在手寫體字符識別任務上表現出非凡的性能。

深度信任網絡模型

DBN可以解釋為貝葉斯概率生成模型，由多層隨機隱變量組成，上面的兩層具有無向對稱連接，下面的層得到來自上一層的自頂向下的有向連接，最底層單元的狀態為可見輸入數據向量。DBN由若干2F結構單元堆棧組成，結構單元通常為RBM（Restricted Boltzmann Machine，受限玻爾茲曼機）。堆棧中每個RBM單元的可視層神經元數量等于前一RBM單元的隱層神經元數量。根據深度學習機制，采用輸入樣例訓練第一層RBM單元，并利用其輸出訓練第二層RBM模型，將RBM模型進行堆棧通過增加層來改善模型性能。在無監督預訓練過程中，DBN編碼輸入到頂層RBM后，解碼頂層的狀態到最底層的單元，實現輸入的重構。RBM作為DBN的結構單元，與每一層DBN共享參數。

堆棧自編碼網絡模型

堆棧自編碼網絡的結構與DBN類似，由若干結構單元堆棧組成，不同之處在于其結構單元為自編碼模型( auto-en-coder)而不是RBM。自編碼模型是一個兩層的神經網絡，第一層稱為編碼層，第二層稱為解碼層。 

2006年，Hinton提出了在非監督數據上建立多層神經網絡的一個有效方法，具體分為兩步：首先逐層構建單層神經元，這樣每次都是訓練一個單層網絡；當所有層訓練完后，使用wake-sleep算法進行調優。

將除最頂層的其他層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網絡，而其他層則變為了圖模型。向上的權重用于“認知”，向下的權重用于“生成”。然后使用wake-sleep算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確地復原底層的節點。比如頂層的一個節點表示人臉，那么所有人臉的圖像應該激活這個節點，并且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。wake-sleep算法分為醒( wake)和睡(sleep)兩個部分。 

wake階段：認知過程，通過外界的特征和向上的權重產生每一層的抽象表示，并且使用梯度下降修改層間的下行權重。 

sleep階段：生成過程，通過頂層表示和向下權重，生成底層的狀態，同時修改層間向上的權重。

自下上升的非監督學習

就是從底層開始，一層一層地往頂層訓練。采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，這也是和傳統神經網絡區別最大的部分，可以看作是特征學習過程。具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數，這層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層，由于模型容量的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數。

自上向下的監督學習

就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網絡進行微調。基于第一步得到的各層參數進一步優調整個多層模型的參數，這一步是一個有監督訓練過程。第一步類似神經網絡的隨機初始化初值過程，由于第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果。所以深度學習的良好效果在很大程度上歸功于第一步的特征學習的過程。

計算機視覺中比較成功的深度學習的應用，包括人臉識別、圖像問答、物體檢測、物體跟蹤。

【來源：網絡】



http://www.szkemai.cn   光虎光電科技（天津）有限公司