丁同學(xué)
2023-05-12 16:55Q7，bias error和variance error的區(qū)別是什么，怎么區(qū)分呢？這兩個error都是在調(diào)優(yōu)過程中使得它們越低越好嗎？
所屬：CFA Level II > Quantitative Methods 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個回答
愛吃草莓的葡萄助教
2023-05-12 17:34
該回答已被題主采納
同學(xué)你好。
偏差誤差，或者說成模型與訓(xùn)練數(shù)據(jù)的擬合程度。具有錯誤假設(shè)的算法會產(chǎn)生具較高偏差和比較差的擬合，導(dǎo)致擬合不足和樣本內(nèi)誤差高。
方差誤差，或著說成模型的結(jié)果對驗證和測試樣本中的新數(shù)據(jù)的響應(yīng)變化程度。不穩(wěn)定的模型會拾取噪聲并產(chǎn)生高方差，導(dǎo)致過擬合和高樣本外誤差。
在調(diào)優(yōu)過程中，我們無法使得兩個都越低越好，因為兩個有點此消彼長的意思。我們是要總方差最小。
-
追問
能不能這樣理解：
1. bias error 主要對應(yīng)的是training set的結(jié)果準確率（bias error大，說明模型參數(shù)本身需要調(diào)整）
2. variance error 主要對應(yīng)的是cross testing 的結(jié)果準確率（variance error大，說明模型overfitting）
進一步，那么模型調(diào)優(yōu)，就是針對兩個bias所呈現(xiàn)的問題，進行內(nèi)部（bias error）和外部（variance error）的調(diào)優(yōu)（turning），使得總方差最小是么？
那么，總方差最小，怎么體現(xiàn)？ -
追答
同學(xué)你好。此處原版書寫的確實比較矛盾。特此說明一下：
bias error與variance error都是樣本外誤差，其中bias error書上講的是模型與訓(xùn)練數(shù)據(jù)的匹配程度，建議同學(xué)改為模型與驗證數(shù)據(jù)的匹配程度。因為訓(xùn)練數(shù)據(jù)時樣本內(nèi)的，驗證與測試數(shù)據(jù)時樣本外的。
因此bias就是模型與驗證數(shù)據(jù)的匹配程度，如果高，說明模型欠擬合需要調(diào)整模型；
variance就是模型對測試集新數(shù)據(jù)的預(yù)測能力，如果高，說明模型過擬合將噪音當做信息，需要調(diào)整模型。
bias說明擬合不足的問題，variance說明過擬合問題，這兩個是此消彼長的，調(diào)優(yōu)是將兩者調(diào)整到最小，也就是total error-out最小。
0
0
1
1
