張同學(xué)
2023-11-07 18:10這個(gè)k數(shù)量和過度擬合區(qū)別在哪 k太多不應(yīng)該bias也很小variance大嗎
所屬：FRM Part I > Quantitative Analysis 視頻位置 相關(guān)試題
來源： 視頻位置 相關(guān)試題
1個(gè)回答
黃石助教
2023-11-08 11:14
該回答已被題主采納
同學(xué)你好。這里的K應(yīng)與模型的復(fù)雜程度聯(lián)系起來。值得注意的是， 在KNN中，K越小代表著模型越復(fù)雜?；仡櫼幌翶NN的定義：對(duì)于一個(gè)不在訓(xùn)練集中的觀測(cè)值，KNN使用訓(xùn)練集中最接近目標(biāo)觀測(cè)值的K個(gè)觀測(cè)值來對(duì)其進(jìn)行預(yù)測(cè)。對(duì)于較小的K，取一個(gè)極端例子：K=1，這時(shí)只根據(jù)單個(gè)近鄰進(jìn)行預(yù)測(cè)，如果離目標(biāo)點(diǎn)最近的一個(gè)點(diǎn)是噪聲，就會(huì)出錯(cuò)，此時(shí)模型復(fù)雜度高，穩(wěn)健性低。換句話說，此時(shí)數(shù)據(jù)集中所有的數(shù)據(jù)點(diǎn)都會(huì)影響我們的決策，這帶來了額外的復(fù)雜性。對(duì)于較大的K，模型則復(fù)雜性低。
接下來看課件上寫的內(nèi)容：K過大 -> 模型復(fù)雜性低 -> 容易導(dǎo)致欠擬合，即high bias & low variance；K過小 -> 模型復(fù)雜性高 -> 容易導(dǎo)致過擬合，即low bias & high variance。這個(gè)稍微理解一下就可以了。加油~
0
0
0
0
