神經網路最小單元為一個神經元,以下針對一個神經元的計算進行說明.
以下a,b,c 為輸入值.並且激勵函數(activity function) 採用 sigmoid 進行說明:
依照上圖所述,可得到以下數學式:
由於在訓練過程中目的是找到最適合的權重值(weight).
透過微分求解梯度後可以找到權重應該修正的數值.
因為每個變數都需要各自進行微分,因此透過偏微分求解(在遇到非目標為分數值時,將其視為常數):
|
|
|
|
得知以上各個偏微分數值後,透過連鎖律進行神經元的偏微分,可得到以下式子:
有了以上基礎將其擴充成多層的神經網路進行推導,可以得到如下圖:
圖中f1推倒為完整的數學式推導,f2則是簡化後.
文章標籤
全站熱搜
留言列表
Revit 二次開發 (2)
{{ article.title }}