枻同學(xué)
2023-02-18 16:41請(qǐng)問這里的反向傳播是機(jī)器自動(dòng)調(diào)整還是人工調(diào)整呢
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
ES助教
2023-02-20 14:33
該回答已被題主采納
1. The network中有三個(gè)特征:
1.1 輸入變量x
1.2 隱藏層
用于計(jì)算隱藏節(jié)點(diǎn)處的值的公式舉例如下
??_1=??(??_111 ??_1+??_112 ??_2+??_113 ??_3+??_1)
??_2=??(??_121 ??_1+??_122 ??_2+??_123 ??_3+??_2)
??_3=??(??_131 ??_1+??_132 ??_2+??_133 ??_3+??_3)
其中，The ??_1, ??_2, ??_3 (函數(shù)中的常數(shù)項(xiàng)）被稱為偏差，其他w稱為權(quán)重。
1.3 輸出變量y
2. 計(jì)算過程
2.1前向傳播
(1)隨機(jī)輸入層的初始化值
(2)根據(jù)輸入層的初始化值及函數(shù)計(jì)算隱藏層
(3)根據(jù)隱藏層的值及函數(shù)計(jì)算輸出層
2.2 Backpropagation （the weights and biases如何從一個(gè)迭代更新到另一個(gè)迭代）
(1) 計(jì)算總誤差
因?yàn)槌跏嫉妮斎胫刀际请S機(jī)取得，所以一開始的總誤差會(huì)很大，就需要更新權(quán)重
(2) 權(quán)值更新
在實(shí)踐中，使用The gradient descent algorithm（梯度下降算法）以得到最小誤差值，在梯度下降算法中會(huì)涉及一個(gè)The learning rate的選擇，這個(gè)根據(jù)自己的需求和偏好進(jìn)行設(shè)置，但是：
? 如果The learning rate太小，梯度下降算法將會(huì)花費(fèi)很長(zhǎng)時(shí)間
? 如果The learning rate太大，梯度下降的路徑會(huì)發(fā)生“oscillate”
其他都是根據(jù)數(shù)學(xué)求偏導(dǎo)公式在代碼中設(shè)置一個(gè)循環(huán)即可
(3) 重復(fù)“權(quán)值更新”這個(gè)步驟，不斷更新network參數(shù)我們就能得到更準(zhǔn)確的模型
0
0
0
0
