187****0206
2024-09-22 13:19請 再講下這個？
所屬：FRM Part I > Valuation and Risk Models 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個回答
黃石助教
2024-09-24 10:32
該回答已被題主采納
同學(xué)你好。Bootstrap aggregation/bagging是通過重抽樣的方式，獲得大量重抽樣樣本，通過這些樣本分別去訓(xùn)練模型，最終將這些個體模型的結(jié)果整合后作為最終的結(jié)果。比方說我通過有放回的重抽樣獲取100個重抽樣樣本，對于這100個樣本分別建模決策樹。假設(shè)我研究的是是否發(fā)放貸款，這100個決策樹中有70個給到的決策是發(fā)放，30個給到的是不發(fā)放，那我們的最終決策就是少數(shù)服從多數(shù)、發(fā)放貸款。而這種基于重抽樣樣本建模決策樹的方式，就是random forest。換言之，random forest其實就是bootstrap aggregation的一個特例，是應(yīng)用于決策樹的bootstrap aggregation?，F(xiàn)實中，除了對樣本進行重抽樣，有時我們還會對特征進行重抽樣。比方說我有50個特征，我每次隨機抽樣獲得25個特征，將這25個特征以及它們的所有樣本數(shù)據(jù)用于模型的估計，最終也能得到一系列模型。不過需要注意的是，在對特征進行隨機抽樣時，我們是選擇無放回的重抽樣，以避免一個特征在決策樹中出現(xiàn)多次的情況。
對于boosting，假設(shè)說我現(xiàn)在在做回歸，研究Y與X之間的關(guān)系。根據(jù)樣本跑了回歸后，我能得到一系列殘差e。一般的回歸跑這一次、得到參數(shù)估計就結(jié)束了。而boosting的思路則是，第一次回歸的殘差我們的算法也要學(xué)習(xí)一下，以使得模型更加精確。因此，接下來boosting會將殘差對X跑一個回歸。這個回歸又能夠得到一系列新的殘差，boosting會持續(xù)不斷地對‘前模型’的殘差進行學(xué)習(xí)，最終得到一系列模型，對Y進行預(yù)測只需將所有模型的預(yù)測加在一起即可，因為這些模型是通過殘差項環(huán)環(huán)相扣在一起的。
0
0
0
0
