線性回歸定義

　　回歸最簡(jiǎn)單的定義是，給出一個(gè)點(diǎn)集D，用一個(gè)函數(shù)去擬合這個(gè)點(diǎn)集，并且使得點(diǎn)集與擬合函數(shù)間的誤差最小。

　　

　　上圖所示，給出一個(gè)點(diǎn)集(x,y), 需要用一個(gè)函數(shù)去擬合這個(gè)點(diǎn)集，藍(lán)色的點(diǎn)是點(diǎn)集中的點(diǎn)，而紅色的曲線是函數(shù)的曲線，第一張圖是一個(gè)最簡(jiǎn)單的模型，對(duì)應(yīng)的函數(shù)為y = f(x) = ax + b，這個(gè)就是一個(gè)線性函數(shù)，

　　第二張圖是二次曲線，對(duì)應(yīng)的函數(shù)是y = f(x) = ax^2 + b。

　　第三張圖是任意函數(shù)。

　　第四張圖可以認(rèn)為是一個(gè)N次曲線，N = M - 1，M是點(diǎn)集中點(diǎn)的個(gè)數(shù)，有一個(gè)定理是，對(duì)于給定的M個(gè)點(diǎn)，我們可以用一個(gè)M - 1次的函數(shù)去完美的經(jīng)過(guò)這個(gè)點(diǎn)集。

　　真正的線性回歸，不僅會(huì)考慮使得曲線與給定點(diǎn)集的擬合程度較好，還會(huì)考慮模型最簡(jiǎn)單，這個(gè)話題我們將在本章后面的偏差、方差的權(quán)衡中深入的說(shuō)。

　　線性回歸(linear regression)，并非是指的線性函數(shù)，也就是：

　　

　　x0,x1…表示一個(gè)點(diǎn)不同的維度，比如說(shuō)上一節(jié)中提到的，房子的價(jià)錢是由包括面積、房間的個(gè)數(shù)、房屋的朝向等等因素去決定的。而是用廣義的線性函數(shù)：

　　

　　wj是系數(shù)，w就是這個(gè)系數(shù)組成的向量，它影響著不同維度的Φj(x)在回歸函數(shù)中的影響度，比如說(shuō)對(duì)于房屋的售價(jià)來(lái)說(shuō)，房間朝向的w一定比房間面積的w更小。Φ(x)是可以換成不同的函數(shù)，不一定要求Φ(x)=x，這樣的模型我們認(rèn)為是廣義線性模型。

　　最小二乘法與最大似然

　　最小二乘法是線性回歸中一個(gè)最簡(jiǎn)單的方法，它的推導(dǎo)有一個(gè)假設(shè)，就是回歸函數(shù)的估計(jì)值與真實(shí)值間的誤差假設(shè)是一個(gè)高斯分布。這個(gè)用公式來(lái)表示是下面的樣子：aqf08133，y(x,w)就是給定了w系數(shù)向量下的回歸函數(shù)的估計(jì)值，而t就是真實(shí)值了，ε表示誤差。我們可以接下來(lái)推出下面的式子：

　　

　　這是一個(gè)簡(jiǎn)單的條件概率表達(dá)式，表示在給定了x，w，β的情況下，得到真實(shí)值t的概率，由于ε服從高斯分布，則從估計(jì)值到真實(shí)值間的概率也是高斯分布的，看起來(lái)像下面的樣子：

　　

　　由于最小二乘法有這樣一個(gè)假設(shè)，則會(huì)導(dǎo)致，如果我們給出的估計(jì)函數(shù)y(x,w)與真實(shí)值t不是高斯分布的，甚至是一個(gè)差距很大的分布，那么算出來(lái)的模型一定是不正確的，當(dāng)給定一個(gè)新的點(diǎn)x’想要求出一個(gè)估計(jì)值y’，與真實(shí)值t’可能就非常的遠(yuǎn)了。

　　概率分布是一個(gè)可愛(ài)又可恨的東西，當(dāng)我們能夠準(zhǔn)確的預(yù)知某些數(shù)據(jù)的分布時(shí)，那我們可以做出一個(gè)非常精確的模型去預(yù)測(cè)它，但是在大多數(shù)真實(shí)的應(yīng)用場(chǎng)景中，數(shù)據(jù)的分布是不可知的，我們也很難去用一個(gè)分布、甚至多個(gè)分布的混合去表示數(shù)據(jù)的真實(shí)分布，比如說(shuō)給定了1億篇網(wǎng)頁(yè)，希望用一個(gè)現(xiàn)有的分布(比如說(shuō)混合高斯分布)去匹配里面詞頻的分布，是不可能的。在這種情況下，我們只能得到詞的出現(xiàn)概率，比如p(的)的概率是0.5，也就是一個(gè)網(wǎng)頁(yè)有1/2的概率出現(xiàn)“的”。如果一個(gè)算法，是對(duì)里面的分布進(jìn)行了某些假設(shè)，那么可能這個(gè)算法在真實(shí)的應(yīng)用中就會(huì)表現(xiàn)欠佳。最小二乘法對(duì)于類似的一個(gè)復(fù)雜問(wèn)題，就很無(wú)力了。

量化金融分析師(簡(jiǎn)稱AQF ，Analyst of Quantitative Finance)由量化金融標(biāo)準(zhǔn)委員會(huì)(Standard Committee of Quantitative Finance，SCQF)主考并頒證，是代表量化金融領(lǐng)域的專業(yè)水平證書(shū)。 >>>點(diǎn)擊咨詢AQF證書(shū)含金量

　　

課程適合人群：

　　金融工程/數(shù)學(xué)專業(yè)背景的同學(xué)/工作人士，希望進(jìn)一步學(xué)習(xí)Python編程以及在量化投資的實(shí)戰(zhàn)應(yīng)用；

　　非金融工程專業(yè)背景的同學(xué)/工作人士，希望迅速成為寬客；

　　金融相關(guān)人員，希望學(xué)習(xí)如何系統(tǒng)的做量化策略；

　　個(gè)人投資者，希望系統(tǒng)學(xué)習(xí)掌握量化投資相關(guān)的實(shí)務(wù)技能，從模型開(kāi)發(fā)，回測(cè)，策略改進(jìn)，搭建穩(wěn)定的量化交易系統(tǒng)。>>>點(diǎn)擊咨詢AQF課程相關(guān)問(wèn)題

（點(diǎn)擊上圖了解課程詳情）

　　量化金融分析師AQF核心課程體系：

　　1、《量化投資基礎(chǔ)》

　　主要涵蓋了量化投資領(lǐng)域的必備知識(shí)，包括：基本面分析、技術(shù)分析、數(shù)量分析、固定收益、資產(chǎn)組合管理、權(quán)益、另類投資等內(nèi)容。

　　2、《Python語(yǔ)言編程基礎(chǔ)》

　　包含了Python環(huán)境搭建、基礎(chǔ)語(yǔ)法、變量類型、基本函數(shù)、基本語(yǔ)句、第三方庫(kù)、金融財(cái)務(wù)實(shí)例等內(nèi)容。旨在為金融財(cái)經(jīng)人提供最需要的編程方法。

　　3、《基于Python的經(jīng)典量化投資策略》

　　包含了最富盛名，最基本的量化交易思想和交易策略。例如：海龜交易模型、Logistics模型、配對(duì)交易模型、波動(dòng)擴(kuò)張模型、Alpha模型、機(jī)器學(xué)習(xí)(隨機(jī)森林模型、主成分分析)、深度學(xué)習(xí)(人工神經(jīng)網(wǎng)絡(luò))等內(nèi)容。

　　4、《量化交易系統(tǒng)設(shè)計(jì)》

　　旨在學(xué)習(xí)量化交易系統(tǒng)的具體知識(shí)，包括過(guò)濾器，進(jìn)入信號(hào)，退出信號(hào)，倉(cāng)位管理等詳細(xì)內(nèi)容，并指導(dǎo)學(xué)員設(shè)計(jì)涵蓋個(gè)人交易哲學(xué)的量化交易系統(tǒng)。

　　5、《量化實(shí)盤交易》

　　旨在為解決實(shí)際量化交易策略搭建過(guò)程中的一些問(wèn)題提供較優(yōu)解決方案。 >>>點(diǎn)擊咨詢AQF相關(guān)問(wèn)題

　　

　　掌握Python及量化投資技能，我們能做什么?

1、熟悉中國(guó)主要金融市場(chǎng)及交易產(chǎn)品的交易機(jī)制；

2、熟知國(guó)內(nèi)外期貨交易、股市交易的異同點(diǎn)和內(nèi)在運(yùn)行機(jī)制；

3、掌握經(jīng)典量化交易策略細(xì)節(jié)及其背后的交易哲學(xué)；

4、掌握金融、編程和建模知識(shí)基礎(chǔ)，擁有量化交易實(shí)盤操作能力；

5、具備獨(dú)立自主地研發(fā)新量化交易策略的能力；

6、掌握量化交易模型設(shè)計(jì)的基本框架，以及風(fēng)險(xiǎn)管理和資產(chǎn)組合理論的實(shí)際運(yùn)用；

7、掌握從策略思想——策略編寫——策略實(shí)現(xiàn)餓完整量化投資決策過(guò)程；具備量化投資實(shí)戰(zhàn)交易能力。

　　偏差、方差的權(quán)衡(trade-off)：

　　偏差(bias)和方差(variance)是統(tǒng)計(jì)學(xué)的概念，剛進(jìn)公司的時(shí)候，看到每個(gè)人的嘴里隨時(shí)蹦出這兩個(gè)詞，覺(jué)得很可怕。首先得明確的，方差是多個(gè)模型間的比較，而非對(duì)一個(gè)模型而言的，對(duì)于單獨(dú)的一個(gè)模型，比如說(shuō):

　　

　　這樣的一個(gè)給定了具體系數(shù)的估計(jì)函數(shù)，是不能說(shuō)f(x)的方差是多少。而偏差可以是單個(gè)數(shù)據(jù)集中的，也可以是多個(gè)數(shù)據(jù)集中的，這個(gè)得看具體的定義

　　

　　上圖的藍(lán)色和綠色的點(diǎn)是表示一個(gè)數(shù)據(jù)集中采樣得到的不同的子數(shù)據(jù)集，我們有兩個(gè)N次的曲線去擬合這些點(diǎn)集，則可以得到兩條曲線(藍(lán)色和深綠色)，它們的差異就很大，但是他們本是由同一個(gè)數(shù)據(jù)集生成的，這個(gè)就是模型復(fù)雜造成的方差大。模型越復(fù)雜，偏差就越小，而模型越簡(jiǎn)單，偏差就越大，方差和偏差是按下面的方式進(jìn)行變化的:

　　

　　當(dāng)方差和偏差加起來(lái)較優(yōu)的點(diǎn)，就是我們較佳的模型復(fù)雜度。

　　用一個(gè)很通俗的例子來(lái)說(shuō)，現(xiàn)在咱們國(guó)家一味的追求GDP，GDP就像是模型的偏差，國(guó)家希望現(xiàn)有的GDP和目標(biāo)的GDP差異盡量的小，但是其中使用了很多復(fù)雜的手段，比如說(shuō)倒賣土地、強(qiáng)拆等等，這個(gè)增加了模型的復(fù)雜度，也會(huì)使得偏差(居民的收入分配)變大，窮的人越窮(被趕出城市的人與進(jìn)入城市買不起房的人)，富的人越富(倒賣土地的人與賣房子的人)。其實(shí)本來(lái)模型不需要這么復(fù)雜，能夠讓居民的收入分配與國(guó)家的發(fā)展取得一個(gè)平衡的模型是較好的模型。

　　最后還是用數(shù)學(xué)的語(yǔ)言來(lái)描述一下偏差和方差：

　　

　　E(L)是損失函數(shù)，h(x)表示真實(shí)值的平均，第一部分是與y(模型的估計(jì)函數(shù))有關(guān)的，這個(gè)部分是由于我們選擇不同的估計(jì)函數(shù)(模型)帶來(lái)的差異，而第二部分是與y無(wú)關(guān)的，這個(gè)部分可以認(rèn)為是模型的固有噪聲。

　　對(duì)于上面公式的第一部分，我們可以化成下面的形式：

　　

　　這個(gè)部分在PRML的1.5.5推導(dǎo)，前一半是表示偏差，而后一半表示方差，我們可以得出：損失函數(shù)=偏差^2+方差+固有噪音。

　　下圖也來(lái)自PRML：

　　

　　這是一個(gè)曲線擬合的問(wèn)題，對(duì)同分布的不同的數(shù)據(jù)集進(jìn)行了多次的曲線擬合，左邊表示方差，右邊表示偏差，綠色是真實(shí)值函數(shù)。ln lambda表示模型的復(fù)雜程度，這個(gè)值越小，表示模型的復(fù)雜程度越高，在第一行，大家的復(fù)雜度都很低(每個(gè)人都很窮)的時(shí)候，方差是很小的，但是偏差同樣很小(國(guó)家也很窮)，但是到了最后一幅圖，我們可以得到，每個(gè)人的復(fù)雜程度都很高的情況下，不同的函數(shù)就有著天壤之別了(貧富差異大)，但是偏差就很小了(國(guó)家很富有)。

　　

更多內(nèi)容推薦閱讀：

如何成為一名優(yōu)秀的量化金融分析師？

AQF到底是什么鬼？哪類人適合參加AQF考試？

2019年量化金融分析師（AQF）全國(guó)統(tǒng)一考試報(bào)名簡(jiǎn)章

Wind、Excel和Python三大金融技能兼修，下一個(gè)金融分析大神就是你

金程推薦： AQF培訓(xùn) AQF培訓(xùn)機(jī)構(gòu) AQF是什么意思

咨詢電話：400-700-9596

AQF考友群：760229148

　　金融寬客交流群：801860357

　　微信公眾號(hào)：量化金融分析師

　　>>>返回首頁(yè)