流同學
2025-05-02 11:27老師能幫忙總結(jié)一下這道題的知識點嗎，感覺沒什么印象了
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個回答
黃石助教
2025-05-03 09:49
該回答已被題主采納
同學你好。這里考察的是regularization（正則化）的方法。這類方法是用于“降維”的，比方說回歸模型中變量可能過多了，我們需要一些方法去降低模型的復雜程度、進而規(guī)避過擬合的情形。這些方法主要有三種：
1. Ridge（嶺回歸）。在跑回歸的時候，該方法在普通最小二乘法最小化的目標函數(shù)的基礎(chǔ)上額外引入了一項（見圖1），這一項的引入使得在做最小化的時候我們也會顧及到beta系數(shù)的取值，針對絕對值較高的斜率系數(shù)進行懲罰。嶺回歸又被稱作L2正則化（因為引入的一項中包含的都是β的平方）。L2正則化傾向于“縮小“模型的參數(shù)，使得這些參數(shù)接近（但不等于）零。λ（模型中的超參數(shù)）越大，回歸系數(shù)絕對值縮小的程度越大。
2. LASSO。LASSO最小化的目標函數(shù)見圖2。與嶺回歸不同的是，LASSO引入的這一項采用的是絕對值形式而非平方形式。LASSO 又被稱作 L1 正則化。L1 正則化將一些不太重要的參數(shù)估計設(shè)為零。因此，LASSO 也被稱作特征選擇技術(shù)（feature selection technique），因為一些不太重要的特征會被LASSO移除。λ越大，越多的回歸系數(shù)會降至零。
3. Elastic net。這個就是Ridge和LASSO的合體，目標函數(shù)見圖3，簡單了解一下有這么個方法就可以。
0
0
0
0
