深度神經網路訓練的必知技巧
重磅乾貨，第一時間送達本文轉自：機器學習演算法工程師本文主要介紹8種實現細節的技巧或 tricks ：資料增廣、影象預處理、網路初始化、訓練過程中的技巧、啟用函式的選擇、不同正則化方法、來自於資料的洞察、整合多個深度網路的方法...
殘差神經網路究竟在幹啥？
既然說了 ResNet 解決的痛點，也順便多說幾句它帶來的好處：由於 identity 之外的其餘部分的資訊冗餘度較高，因此在對其使用 ReLU 進行非線性啟用時，丟失的有用資訊也會較少，ReLU 層輸出為 0 的可能性也會較低...
SMU啟用函式講解及程式碼實現
本文在已知啟用函式Leaky ReLU近似的基礎上，提出了一種新的啟用函式，稱之為Smooth Maximum Unit（SMU）...
最常用的10個啟用函式
ReLU 啟用函式ReLU 啟用函式影象如上圖所示，函式表示式如下：ReLU 函式是深度學習中較為流行的一種啟用函式，相比於 sigmoid 函式和 tanh 函式，它具有如下優點：當輸入為正時，不存在梯度飽和問題...