李同學(xué)
2020-08-22 15:17（ML CASE Q2)C選項(xiàng)，記得單老師講的是懲罰項(xiàng)中l(wèi)ambda應(yīng)該設(shè)的很大（比如10000），這樣才能讓整體最小化的前提下，讓對(duì)應(yīng)的xi變的很小，才能達(dá)到減少features的目的。但C說在0和1之間所以應(yīng)該和前面的說法矛盾了，所以應(yīng)該不正確吧，請(qǐng)問怎么解釋？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
Kevin助教
2020-08-24 09:42
該回答已被題主采納
同學(xué)你好！
單老師說的應(yīng)該是基于每個(gè)參數(shù)對(duì)應(yīng)了一個(gè)λi，這時(shí)候把λi設(shè)置很大時(shí)，為了使總的損失函數(shù)最小，那么相應(yīng)的xi會(huì)接近于0，此時(shí)相當(dāng)于減少了features。
但是，我們一般都是把λ寫在外面，即為總體的λ。這時(shí)候一般λ不會(huì)是一個(gè)比較大的數(shù)值，如果λ比較大，那么所有的xi都會(huì)接近于0，模型此時(shí)基本是underfitting的狀態(tài)。
-
追問
可否按您的邏輯講講這道題是怎么選出答案的？結(jié)合lambda的公式？
-
追答
同學(xué)你好！
這道題問的是哪個(gè)方法最不恰當(dāng)。當(dāng)features較多時(shí)，我們就傾向于減少features個(gè)數(shù)，避免過擬合。CART中可以通過剪枝，或者損失函數(shù)中引入懲罰項(xiàng)λ。但λ為0時(shí)，沒有減少任何features的可能，所以這個(gè)最不恰當(dāng)。λ只要不為0，就有可能使得部分xi接近于0，起到了減少features的可能。 -
追問
老師這塊選出來沒問題了，但是我還得較一下真。1.我覺得lambda大小無所謂，因?yàn)橹灰猯ambda是個(gè)數(shù)（不是0），那么讓整體最小，lambda對(duì)應(yīng)的后邊那塊就得最小，那么b就會(huì)很小，那對(duì)應(yīng)的x就發(fā)揮不了什么作用，也就是起到了懲罰項(xiàng)的作用？所以有數(shù)就好，所以選B?理解對(duì)否？2.lanmda放在里外的問題是我之前問過的，我又想了一下，其實(shí)里外無所謂，因?yàn)楣嚼锸羌涌偟絢，不是加總到n，所以lanmda即使在外邊也是針對(duì)他想挑出來的lanmda而不是所有的lanmda，不知道理解對(duì)否？
-
追問
P116頁 講義
-
追答
同學(xué)你好！
1.λ的取值是比較考驗(yàn)技巧的，并不是任何數(shù)都可以。我們的目標(biāo)是使得損失函數(shù)最小。λ后面的那串，只是損失函數(shù)的一部分，在λ很大時(shí)，所有的xi都接近于0，此時(shí)模型較大可能是underfit，此時(shí)損失函數(shù)不一定是最小的；λ很小，可能過擬合，但由于有λ的存在，總的損失函數(shù)也不一定最小。所以實(shí)踐中，我們都是通過程序確定λ，并不是任何數(shù)都可以。λ如果很小，不一定會(huì)減少features的個(gè)數(shù)，只是有這種傾向。
2.里外是有差別的。外面時(shí)λ是總體的，只有一個(gè)。λi對(duì)應(yīng)不同的bi可能不同，比如λ2=1000000，就是懲罰b2，此時(shí)如果其他λi很小，那么只是消除b2這個(gè)feature。在外面λ=10000，就是消除所有的features。
0
0
1
1
