默同學(xué)
2025-05-05 10:39可以講一下這里的知識點(diǎn)嗎，謝謝老師
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
黃石助教
2025-05-06 13:04
該回答已被題主采納
同學(xué)你好。這里考察的是regularization（正則化）的方法。這類方法是用于“降維”的，比方說回歸模型中變量可能過多了，我們需要一些方法去降低模型的復(fù)雜程度、進(jìn)而規(guī)避過擬合的情形。這些方法主要有三種：
1. Ridge（嶺回歸）。在跑回歸的時(shí)候，該方法在普通最小二乘法最小化的目標(biāo)函數(shù)的基礎(chǔ)上額外引入了一項(xiàng)（見圖1），這一項(xiàng)的引入使得在做最小化的時(shí)候我們也會顧及到beta系數(shù)的取值，針對絕對值較高的斜率系數(shù)進(jìn)行懲罰。嶺回歸又被稱作L2正則化（因?yàn)橐氲囊豁?xiàng)中包含的都是β的平方）。L2正則化傾向于“縮小“模型的參數(shù)，使得這些參數(shù)接近（但不等于）零。λ（模型中的超參數(shù)）越大，回歸系數(shù)絕對值縮小的程度越大。
2. LASSO。LASSO最小化的目標(biāo)函數(shù)見圖2。與嶺回歸不同的是，LASSO引入的這一項(xiàng)采用的是絕對值形式而非平方形式。LASSO 又被稱作 L1 正則化。L1 正則化將一些不太重要的參數(shù)估計(jì)設(shè)為零。因此，LASSO 也被稱作特征選擇技術(shù)（feature selection technique），因?yàn)橐恍┎惶匾奶卣鲿籐ASSO移除。λ越大，越多的回歸系數(shù)會降至零。
3. Elastic net。這個(gè)就是Ridge和LASSO的合體（也就是C選項(xiàng)說的A hybrid of the Ridge regression and LASSO），目標(biāo)函數(shù)見圖3，簡單了解一下有這么個(gè)方法就可以。
0
0
0
0
