134****4518
2023-12-07 18:25這道題出自FRM一級中文精度補充版P35-36，題目是關于評估模型的。這里有三個問題需要解答。1、題目并沒有規(guī)定陽性代表什么，為什么這里直接判斷陽性就代表了違約，如何做出這個判斷的？2、題目要求評估模型差異，請說明一下計算出來的四個指標是越大越好還是約越小越好，截圖劃線的部分是怎么判斷出來的（或者這幾個指標怎么組合可以判斷模型好壞）？3、按照老師講課的課件，可以通過畫圖判斷ROC曲線下的面積來判斷模型的好壞，如果放到這個題目中，應該怎么做（需要計算步驟和畫圖結果）？謝謝。
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關試題
來源： 視頻位置 相關試題
1個回答
黃石助教
2023-12-08 09:24
該回答已被題主采納
同學你好。
問題1：一般業(yè)內(nèi)默認選擇少數(shù)派作為陽性，因為陽性一詞過去多用在疾病檢測上，絕大多數(shù)情況下都是少數(shù)人染病呈陽性，多數(shù)人陰性。當然，實際研究中只要定義正確，其實對陽性的設置并沒有那么重要，最終研究出來的結果都是一樣的。
問題2：Accuracy、Precision和Recall都是越高越好。但是需要注意的是，Accuracy在樣本不均衡的情況下并不是一個很好的衡量指標，例如腫瘤科醫(yī)生看病，不經(jīng)檢驗就告訴每個患者他們沒有患病，此時雖然檢查的準確率較高，但沒有任何意義，因為癌癥的患病率本來就較低。這時我們應更多地關注Precision和Recall。其中，精確率在假陽性（一類錯誤）的成本較高時非常有益。舉例說明，如果某種制造成本非常高昂的產(chǎn)品本身質(zhì)量過關，但質(zhì)檢認為其質(zhì)量不合格，那么此時假陽性的成本較高，需要模型做到足夠的精確。召回率則在假陰性（二類錯誤）的成本較高時非常有益。舉例說明，如果某種產(chǎn)品本身質(zhì)量不過關，但質(zhì)檢認為其質(zhì)量合格，致使產(chǎn)品最終被寄送至重要客戶，那么此時假陰性的成本較高（失去重要客戶與口碑受損），需要模型的召回率足夠的高。
問題3：對于ROC的刻畫同學可以看如下案例https://www.statology.org/roc-curve-excel/
-
追問
樣本是否均衡是怎么判斷的呢？
-
追答
同學你好。樣本不均衡的情況指的是陽性和陰性人群占比不平衡。例如癌癥的患病率，陽性（患癌）的人在人群中是少數(shù)，絕大部分人是陰性（不患癌）。
0
0
0
0
