Lili
2024-10-23 18:03這個(gè)系數(shù)的壓縮，是人為壓縮的嗎？定完λ之后，什么操作能讓Ridge regression系數(shù)降下去啊？
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
黃石助教
2024-10-24 09:51
該回答已被題主采納
同學(xué)你好。這主要與Ridge regression的損失函數(shù)有關(guān)。其損失函數(shù)見下圖（這個(gè)你可以直接對標(biāo)到OLS中最小化的那個(gè)殘差平方和，但是有一定調(diào)整）。在最小化該損失函數(shù)的過程中，我們需要額外去最小化lambda*sum(beta_i^2)，這一步使得beta系數(shù)會被“壓縮”——壓縮這些系數(shù)的取值才能使得lambda*sum(beta_i^2)足夠的小，進(jìn)而去最小化損失函數(shù)。Lambda越大、壓縮的程度越高。
不過需要注意的是Ridge regression中系數(shù)雖被壓縮，但取值不會為0，這與Lasso要進(jìn)行區(qū)分：Lasso會把一些不太重要的變量前面的系數(shù)直接降至0。這里的原因主要在于Ridge regression是L2 regularization，而Lasso是L1 regularization：由于Ridge regression中要去額外最小化的是lambda*sum(beta_i^2)，而如果beta的取值足夠小，其平方就會更小且小得多、進(jìn)而實(shí)現(xiàn)最小化損失函數(shù)的目的；而Lasso中要去最小化的是lambda*sum|beta_i|，此時(shí)我們必須令一些beta_i = 0才能夠?qū)崿F(xiàn)最小化損失函數(shù)。
0
0
0
0
