李同學
2020-08-22 15:17（ML CASE Q2)C選項，記得單老師講的是懲罰項中l(wèi)ambda應該設的很大（比如10000），這樣才能讓整體最小化的前提下，讓對應的xi變的很小，才能達到減少features的目的。但C說在0和1之間所以應該和前面的說法矛盾了，所以應該不正確吧，請問怎么解釋？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關試題
來源： 視頻位置 相關試題
1個回答
Kevin助教
2020-08-24 09:42
該回答已被題主采納
同學你好！
單老師說的應該是基于每個參數(shù)對應了一個λi，這時候把λi設置很大時，為了使總的損失函數(shù)最小，那么相應的xi會接近于0，此時相當于減少了features。
但是，我們一般都是把λ寫在外面，即為總體的λ。這時候一般λ不會是一個比較大的數(shù)值，如果λ比較大，那么所有的xi都會接近于0，模型此時基本是underfitting的狀態(tài)。
-
追問
可否按您的邏輯講講這道題是怎么選出答案的？結合lambda的公式？
-
追答
同學你好！
這道題問的是哪個方法最不恰當。當features較多時，我們就傾向于減少features個數(shù)，避免過擬合。CART中可以通過剪枝，或者損失函數(shù)中引入懲罰項λ。但λ為0時，沒有減少任何features的可能，所以這個最不恰當。λ只要不為0，就有可能使得部分xi接近于0，起到了減少features的可能。 -
追問
老師這塊選出來沒問題了，但是我還得較一下真。1.我覺得lambda大小無所謂，因為只要lambda是個數(shù)（不是0），那么讓整體最小，lambda對應的后邊那塊就得最小，那么b就會很小，那對應的x就發(fā)揮不了什么作用，也就是起到了懲罰項的作用？所以有數(shù)就好，所以選B?理解對否？2.lanmda放在里外的問題是我之前問過的，我又想了一下，其實里外無所謂，因為公式里是加總到k，不是加總到n，所以lanmda即使在外邊也是針對他想挑出來的lanmda而不是所有的lanmda，不知道理解對否？
-
追問
P116頁 講義
-
追答
同學你好！
1.λ的取值是比較考驗技巧的，并不是任何數(shù)都可以。我們的目標是使得損失函數(shù)最小。λ后面的那串，只是損失函數(shù)的一部分，在λ很大時，所有的xi都接近于0，此時模型較大可能是underfit，此時損失函數(shù)不一定是最小的；λ很小，可能過擬合，但由于有λ的存在，總的損失函數(shù)也不一定最小。所以實踐中，我們都是通過程序確定λ，并不是任何數(shù)都可以。λ如果很小，不一定會減少features的個數(shù)，只是有這種傾向。
2.里外是有差別的。外面時λ是總體的，只有一個。λi對應不同的bi可能不同，比如λ2=1000000，就是懲罰b2，此時如果其他λi很小，那么只是消除b2這個feature。在外面λ=10000，就是消除所有的features。
0
0
1
1
