網絡優化算法

    随機性梯度下降算法

    SGD算法則是利用随機梯度下降算法對(duì)網謝你絡參數進(jìn)行優化。在損失函數上對(duì)當前點的對(街讀duì)應梯度(或近似梯度)反方向微哥(xiàng)的指定步長(cháng)距離點上進(jìn)行叠代搜索。到小大規模梯度下降法在對(duì)每個參數進(jìn)行更新時(s鐵空hí)都(dōu)需要所有的訓練樣老謝(yàng)本，因此，随著(zhe)樣(yàng)本數目的增加，訓練過(gu美長ò)程變得非常緩慢。通過(guò)每會醫次叠代更新一次随機梯度下降，從而提懂熱高了優化的效率。

    通用損耗函數

    平均誤差值。

    平均誤差是指實際值與預測值之差平方的期望值相煙，它通常用在回歸問題中，即交叉熵損失函數中在。

    交熵是指實際的類标記分布和模型預測的類标行你記分布之間的距離，在分類問題中為黃經(jīng)常使用。

    網絡優化算法

    優選過(guò)程-輸出層。

    網絡優化算法

    中間層購外是一個優化過(guò)程。

    反傳算法(backpropagation男樹)和梯度下降算法(gradientdecent)對(du服錢ì)神經(jīng)網絡參數進(jìn)行調整。該算法主要是用來對(du快作ì)單個參數進(jìn)行優化，而反向(xiàng)傳播算法則提供了一種(zh機志ǒng)對(duì)所有參數都(dōu)有效的梯度問慢下降算法，使得神經(jīng)網絡模型在訓練數據上放作的損失函數盡可能(néng)小。反傳算法是訓練神經(那分jīng)網絡的核心算法，它能(néng)根據神經麗影(jīng)網絡中定義好(hǎo友花)的損失函數對(duì)神經(jīng)物上網絡的參數進(jìn)行優化，從而使神經(jīng)網絡模型在訓錢得練數據集上的損失函數達到小。神經(jīng)網絡模型的參數優化過(我樂guò)程直接決定模型的質量，因此神經(jīn下什g)網絡的優化是一個非常重要的煙姐步驟。

    假定神經睡爸(jīng)網絡的參數用θ來表示，J(θ)表朋年示在給定的參數值下訓練數據集上損失函數的大小，則可以將(jiāng)整個優化過離員(guò)程抽象爲尋找一個θ，使J(θ)達到公技較。由于目前還(hái)沒(méi)有一種(z從下hǒng)通用的方法直接求出任意損失函數的好(hǎo)火花的參數，因此實際應用中常用的神經(jīng)網絡優化方法是梯度下降法。該算法通過(guò)叠代更新參數θ，不斷地通文沿梯度的反方向(xiàng)更新，使火作參數朝著(zhe)總損失較小的方向(xiàng)變化。