圓同學(xué)
2022-07-11 20:58關(guān)于 remark2中的兩個error，說是在調(diào)整優(yōu)化階段……模型性能評估階段是三種方法，第1個是error analysis，第2個是 Auc的曲線面積，第3個是rmse…… 其實仔細(xì)想想，上面兩個階段都是對模型的一種評估吧？實在看不出來有什么區(qū)別？？請指教。截屏中提到的兩個error為什么不能用來評估模型性能評價呢？不是也挺好嗎？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個回答
Essie助教
2022-07-12 17:39
該回答已被題主采納
你好，error analysis主要是指通過混淆矩陣去計算查準(zhǔn)率、查全率、準(zhǔn)確率，F(xiàn)1 score這些指標(biāo)對模型進(jìn)行評估；AUC主要看的是曲線的面積，橫縱軸是TPR和FPR。雖然TPR和查全率的計算方式是一樣的，但是FPR不同于混淆矩陣上述4個指標(biāo)的任何一種。所以雖然這兩種方法都是和TP，F(xiàn)P這些相關(guān)，但是最終指標(biāo)的形式有些不同。
另外bias error和variance error分別指由于模型擬合不佳而導(dǎo)致的樣本內(nèi)誤差，以及由于過度擬合的模型不能很好地泛化而導(dǎo)致的樣本外誤差。variance error引入了樣本外數(shù)據(jù)，只有在tuning調(diào)優(yōu)模型的時候才會使用樣本外數(shù)據(jù)。在評估模型性能時主要關(guān)注的是樣本內(nèi)數(shù)據(jù)所產(chǎn)生的誤差，所以這兩個error不包括在模型性能評估階段。
-
追問
tuning模型優(yōu)化是在哪個步驟中，聽了大數(shù)據(jù)一節(jié)中的5步法里，貌似沒見到他的影子呀。這5步是在大數(shù)據(jù)一節(jié)中，而tuning是在機(jī)器學(xué)習(xí)一節(jié)中吧？？怎么連接起來？？不然這個知識點(diǎn)，會混淆不清。
-
追答
tuning包含在Model training中，見下圖，這部分是在R5中講的，講義在結(jié)構(gòu)化數(shù)據(jù)——特征工程后面幾頁。
0
0
1
1
