趙同學(xué)
2022-06-16 17:01R4 ML 1. Q2 1）為什么入=0 無正則化？ 2） 正則化是一種什么方法？3）圖二 畫線句子在CART里也提到正則化，正則化也應(yīng)用于此么？4） A選項(xiàng)在此題如何理解？5） 正則化和標(biāo)準(zhǔn)化、歸一化有什么區(qū)別？ 2. Q7 為什么選C fitting curve 為什么可以引起overfitting，如何理解？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
Essie助教
2022-06-17 10:48
該回答已被題主采納
你好，
Q2：
1.lambda是LASSO中的懲罰項(xiàng)，lambda等于0，說明方程沒有懲罰項(xiàng)，LASSO和普通的回歸方程就沒有區(qū)別，所以相當(dāng)于沒有正則化。
2.正則化就是指通過對(duì)模型的預(yù)測(cè)能力不會(huì)產(chǎn)生實(shí)質(zhì)性貢獻(xiàn)的特征，進(jìn)行懲罰來降低模型的復(fù)雜性。
3.對(duì)的，CART中也可以應(yīng)用正則化。CART是分類回歸樹，為了避免過擬合，研究人員可以通過指定樹的最大深度，最大決策節(jié)點(diǎn)數(shù)，或者是剪掉解釋力度不顯著的分支等規(guī)定，這些規(guī)定就屬于正規(guī)化。
4.A選項(xiàng)是對(duì)回歸樹的剪枝，它可以用于減少模型的復(fù)雜度，簡(jiǎn)單來說就是一顆分類回歸樹它會(huì)有很多層級(jí)和節(jié)點(diǎn)，如果哪個(gè)節(jié)點(diǎn)，或者很下面的層級(jí)如果解釋力度不高，那么就直接“剪掉“，從模型中剔除。
5.正則化簡(jiǎn)單來說就是通過減去模型中解釋力度不強(qiáng)的地方，來降低模型的復(fù)雜程度。
標(biāo)準(zhǔn)化和歸一化都屬于縮放的方式，通過移動(dòng)和更改數(shù)據(jù)規(guī)模來調(diào)整特征范圍。標(biāo)準(zhǔn)化是對(duì)變量進(jìn)行定心和縮放的過程，它有一個(gè)公式Xi(standardized) =(Xi-μ)/σ。歸一化是在[0，1]范圍內(nèi)重新縮放變量數(shù)值，公式為：Xi(normalized) =(Xi-Xmin)/(Xmax-Xmin)。他倆的主要區(qū)別在于歸一化對(duì)異常值非常敏感，因此在進(jìn)行歸一化之前需要對(duì)異常值進(jìn)行處理。但是標(biāo)準(zhǔn)化對(duì)異常值的敏感性較低，不需要提前處理異常值。
Q7：
C選項(xiàng)說使用低bias error但是高variance error的模型，low bias error意味著樣本內(nèi)擬合較好，但high variance error意味著樣本外擬合就不佳，這屬于過度擬合的問題。
-
追問
1. Q1 ：1）正則化 入=0，LASSO= OLS，這個(gè)OLS就是您說的那沒有懲罰項(xiàng)的，用來做線性回歸的普通方程？
2）入為超參，需要被權(quán)衡是么？如圖二打?那句話
2. 圖一 就是您說的那個(gè)CART 也可應(yīng)用正則化，regularization criteria 和 pruned 都屬于正則化？
3. Q7 C選項(xiàng) ：1）fitting curve 是描述over fitting 造成的這兩個(gè)錯(cuò)誤的曲線是吧？
2）如果C表述改為：fitting curve 達(dá)到min total error 還會(huì)造成over fitting么？
另外：
4. Recall 為什么上面分子是TP呢？
5. SVM 為什么是P-1 維的超平面？
6. 1）圖三中上面的PPT 我一直不太明白SVM是如何分的？
2）下面的PPT中，它為什么要all observation離判別邊界最遠(yuǎn)，這樣類別劃的最清楚是么？
3）軟邊界是適合非線性么？ 且可增加復(fù)雜性？
7. voting classifier、bootstrap aggregating、random forest 都屬于ensemble learning里的方法么？
8. PCA里的特征值是什么？
9. 整合功能和激活功能是在input、hidden和output layer 三個(gè)層的每個(gè)節(jié)點(diǎn)都有？還是僅在hidden layer？
10. activation function operates like a light dimmer switch that decrease or increas the strength of the input，是什么意思？考試如果想考的話，會(huì)怎么考？ -
追答
1. 1）是的。2）需要自己權(quán)衡，lambda太大，懲罰太大，模型中的參數(shù)過于少，容易發(fā)生欠擬合。lambda太小，懲罰太小，模型中的參數(shù)過多，容易發(fā)生過擬合，具體要針對(duì)情況自己balance。
2. 對(duì)的，這都屬于正則化。
3.1）fitting curve是描述樣本內(nèi)擬合程度和樣本外擬合程度的曲線，通過對(duì)fitting curve的觀察，我們可以看出模型是過擬合還是欠擬合，還是準(zhǔn)確擬合。
2）如果C的表述改為low bias error and low variance error就是個(gè)很好的模型，沒有過擬合。min total error一般不會(huì)這么表述，而且雖然最小化了誤差，但是其中bias error很可能還是高于variance error只是total error最小，所以不能說明一定沒有過擬合。 -
追答
4.因?yàn)閞ecall是查全率，其定義為正確預(yù)測(cè)的陽性分類與所有實(shí)際陽性分類的比率，相當(dāng)于正確找到有病的人作為分子，分母為全部有病的人。所以分子是TP。
5.如果要用將數(shù)據(jù)分為兩類，只需要一個(gè)平面。將數(shù)據(jù)分為三類，需要兩個(gè)平面。同理區(qū)分n個(gè)類別，需要n-1個(gè)超平面。
6.1）圖中的陰影部分就是一個(gè)超平面，將數(shù)據(jù)分為了2大類。2）是的，通過衡量這個(gè)平面距離被分類的點(diǎn)的距離，然后最大化最小距離，就可以做到將數(shù)據(jù)分的更清楚。3）軟邊界不適合非線性，適合近似線性。因?yàn)樵谡鎸?shí)世界中，許多數(shù)據(jù)集并不是完全線性可分的，我們稱之為近似線性可分。它適用于更復(fù)雜的數(shù)據(jù)集。
7.是的，都屬于ensemble learning。
8.特征值是每個(gè)特征向量解釋的初始數(shù)據(jù)中占總方差的比例，類似R^2的感覺。
9.僅在hidden layer中存在。
10.這句話的意思是，激活函數(shù)可以理解為一個(gè)“調(diào)光開關(guān)”，減少或增加輸入的強(qiáng)度，就像使得燈更暗或更亮，本質(zhì)就是調(diào)節(jié)輸入的信號(hào)強(qiáng)度。這描述的是神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的作用，了解一下含義和概念就行，考試即使考到也不會(huì)很難。
0
0
0
0
