RNN 不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的感知機(jī)的最大特征就是跟時(shí)間掛上鉤，即包含了一 個(gè)循環(huán)的網(wǎng)絡(luò)，就是下一時(shí)間的結(jié)果不僅受下一時(shí)間的輸入的影響，也受上一 時(shí)間輸出的影響，進(jìn)一步地說就是信息具有持久的影響力。放在實(shí)際中也很容 易理解，人們在看到新的信息的時(shí)候產(chǎn)生的看法或者判斷，不僅僅是對當(dāng)前信 息的反應(yīng)，先前的經(jīng)驗(yàn)、思想的也是參與進(jìn)去這次信息的推斷的。人類的大腦 不是一張白紙，是包含許多先驗(yàn)信息的，即思想的存在性、持久性是顯然的。

　　舉個(gè)例子，你要對某電影中各個(gè)時(shí)點(diǎn)發(fā)生的事件類型進(jìn)行分類:溫馨、爛漫、 暴力等等，如果利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是很難做到這一點(diǎn)的，但是 RNN因?yàn)榫邆湟?定的記憶功能，可以較好處理這個(gè)問題。

　　

　　其中A代表隱含層，X為輸入信號，h為輸出信號。

　　從圖中我們也可以看出，RNN 是具備鏈?zhǔn)浇Y(jié)構(gòu)特征的。遞歸神經(jīng)網(wǎng)絡(luò)因?yàn)樵撗?環(huán)結(jié)構(gòu)而具有一定的記憶功能，可以被用來解決很多問題，例如：語音識別、 語言模型、機(jī)器翻譯等。但是它并不能很好地處理長時(shí)依賴問題，這一問題在 (Yoshua Bengio，1994 )這篇論文中闡釋得很明白。文章指出，最直接的的 原因是原始 RNN 模型也是采用 BP 算法進(jìn)行權(quán)重和閾值的調(diào)整優(yōu)化，梯度消失 問題依然得不到解決，雖然由于記憶功能的存在使得該問題比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有 所緩解。但是類似于人類的記憶，人總是會忘事的，即在后面的時(shí)間步難以走 不回過去了，過去的時(shí)間步傳遞到現(xiàn)在也效果甚微了。所以這使得難以習(xí)得遠(yuǎn) 距離的影響。

　　長期依賴問題

　　RNN 的一個(gè)核心思想是，既然網(wǎng)絡(luò)結(jié)構(gòu)是時(shí)間列表特征的，那么可以將以前的信息用到當(dāng)前的任務(wù)中來，例如，在語義推斷中，通過前面的話來猜測接下來 的話。如果 RNN 真的能夠這樣做的話，那么它們將會極其有用。但是事實(shí)真是 如此嗎?我們來看下面的例子。

　　考慮一個(gè)語言模型，通過前面的單詞來預(yù)測接下來的單詞。如果我們想預(yù)測句 子“the birds are flying in the sky”中的最后一個(gè)單詞，我們不需要考慮上下文 信息，就可以得到答案，很明顯下一個(gè)單詞應(yīng)該是 sky。在這種情況下，當(dāng)前 要預(yù)測位臵(sky)與相關(guān)信息(birds 和 fly)所在位臵之間的距離相對較小，RNN可以被訓(xùn)練來使用這樣的信息。

　　

　　但是如果當(dāng)前位臵和相關(guān)信息位臵距離很遠(yuǎn)時(shí)候，RNN 就會遇到困難了。比如 “I grew up in China, when I was ten years old,...,I speak Chinese ”，如果要 預(yù)測最后一個(gè)單詞 Chinese，那么我們得搜索較長距離，才能獲取到有用的信 息 China。但令人失望的是，當(dāng)需預(yù)測信息和相關(guān)信息距離較遠(yuǎn)時(shí)，原始 RNN結(jié)構(gòu)的傳輸?shù)男什⒉蛔屓藵M意。雖然有學(xué)者證明了，我們可以通過精心設(shè)計(jì) 參數(shù)來達(dá)到預(yù)測較遠(yuǎn)處信息的目的，但是這樣無疑是成本很高的，實(shí)現(xiàn)起來也很困難，也就失去了實(shí)踐意義。

　　從上面分析可以看出，原始 RNN 中存在的長期依賴問題本質(zhì)上還是梯度消失問 題。

　　

　　LSTM

　　LSTM (long-short term memory)，長短期記憶網(wǎng)絡(luò)，就是為了解決上面的長 期依賴問題而生的。LSTM 是一種經(jīng)過精心巧妙設(shè)計(jì)的 RNN 網(wǎng)絡(luò)，盡管 LSTM和原始 RNN 總的來看都會三大層，即輸入層、隱含層、輸出層。但是 LSTM和原始 RNN 在隱含層設(shè)計(jì)上有較大的差異，主要是 LSTM 是在隱含層具備特 殊的 cell 結(jié)構(gòu)。我們用下面兩個(gè)對比圖來進(jìn)行較好的說明。

　　

　　原始 RNN 的隱含層設(shè)計(jì)

　　

　　LSTM 的隱含層設(shè)計(jì)

　　

　　LSTM 的隱含層設(shè)計(jì)中圖標(biāo)解釋

　　每一條黑線傳輸著一整個(gè)向量，從一個(gè)節(jié)點(diǎn)的輸出到其他節(jié)點(diǎn)的輸入。粉色的圈代表 pointwise 的操作，諸如向量的和，積等運(yùn)算，而黃色的矩陣就是學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)層。合在一起的線表示向量的連接，分開的線表示內(nèi)容被復(fù)制， 然后分發(fā)到不同的位臵。

　　LSTM 結(jié)構(gòu)設(shè)計(jì)與思想

　　LSTM，長短期記憶網(wǎng)絡(luò)，從上面的圖中也可以看出，LSTM 是將一個(gè)簡單型的 激活改成幾部分的線性組合的儲存單元 cell 去激活。相當(dāng)于每次都可以控制下 一步的輸出信息，如是否要包含前面的信息，包含多少的問題等。類似于進(jìn)行下一步操作前，根據(jù)情況提醒你需要注意的信息。好記性不如爛筆頭，就是這 個(gè) 道理。

　　每個(gè)存儲單元由三大構(gòu)件組成，輸入門，輸出門和跨越時(shí)間干擾的傳入自身的 內(nèi)部狀態(tài)。

　　

　　LSTM 的單元結(jié)構(gòu)

　　輸入門(input gate)：控制當(dāng)前輸入和前一步輸出 ,他們能進(jìn)入新的 cell單元的信息量。

　　忘記門(forget gate)：為了更有效傳輸，需要對信息進(jìn)行過濾，決定哪些信息可以遺忘。

　　輸出門：cell 的新狀態(tài)下信息更新。

　　LSTM 詳細(xì)實(shí)現(xiàn)步驟圖解

　　為了更好地說明，我們下面在進(jìn)行每一步圖解時(shí)候，都結(jié)合語義識別功能進(jìn)行 說 明，這樣有更直觀的認(rèn)識。

　　第一步，先由忘記門決定丟棄哪些信息。

　　

　　LSTM 的單元結(jié)構(gòu)之忘記門

　　即結(jié)合當(dāng)前輸入和前一步輸出，經(jīng)激活函數(shù)，得到一個(gè)概率變量，再與原 cell結(jié)構(gòu) 做運(yùn)算得到遺忘后的信息。比如 f=0 時(shí)，表示 的所有信息都會被遺 忘，f=1 時(shí)表示 的信息都會被保存。

　　讓我們回頭看看語義預(yù)測的例子中來基于已經(jīng)看到的詞去預(yù)測下一個(gè)詞。在這個(gè)問題中，細(xì)胞狀態(tài)可能包含當(dāng)前主語的性別，因此正確的代詞可以被選擇出 來。當(dāng)我們看到新的主語時(shí)要想匹配對應(yīng)的代詞，則我們希望忘記舊的主語和代詞。

　　第二步， 由輸入 層決定 什么樣 的信息 會被存 儲到細(xì) 胞中。

　　

　　LSTM 的單元結(jié)構(gòu)之輸入門

　　這一步這里包含兩個(gè)部分。第一，sigmoid 層決定什么值我們將要更新。然后，一個(gè) tanh 層創(chuàng)建一個(gè)新的候選值向量 ，會被加入到狀態(tài)中。

　　在我們語義預(yù)測的例子中，我們希望增加新的主語的性別或者別的信息添加到細(xì)胞狀態(tài)中，來替代舊的主語并完善新的主語的信息。下一步，我們會講這兩個(gè)信息來產(chǎn)生對狀態(tài)的更新。

　　

　　LSTM 的單元結(jié)構(gòu)之 cell更新

　　即我們 cell 的更新是由經(jīng)忘記門剩下的信息和需要更新的信息的結(jié)合，在語義預(yù)測中就是，我們忘記了舊的主語，我們在換成新的主語的時(shí)候可以由輸入層決定需要更新的信息，比如性別、年齡等。這些作為整體保存在新的 cell 中。

　　再接著，就是輸出信息。這個(gè)輸出將會基于我們的細(xì)胞狀態(tài)，但是也是一個(gè)過濾后的版本。首先，我們運(yùn)行一個(gè) sigmoid 激活函數(shù)來確定細(xì)胞狀態(tài)的哪個(gè)部分將輸出出去。接著，我們把細(xì)胞狀態(tài)通過 tanh 進(jìn)行處理(得到一個(gè)在 -1 到1 之間的值)并將它和 sigmoid 的輸出相乘，最終我們僅僅會輸出我們確定輸 出的那部分。

　　在語義預(yù)測的例子中，當(dāng)我們看到了一個(gè)代詞，可能需要輸出與一個(gè)動詞相關(guān)的信息。例如，由 sigmoid 決定可能輸出是否代詞是單數(shù)還是負(fù)數(shù)，這樣如果經(jīng)過 tanh 函數(shù)的細(xì)胞狀態(tài)是動詞的話，sigmoid 和 tanh 結(jié)合我們也就知道了動詞需要進(jìn)行的詞形變化 。具體如下圖所示：

　　

　　LSTM 的單元結(jié)構(gòu)之輸出

　　LSTM的發(fā)展

　　上面我們已經(jīng)把標(biāo)準(zhǔn)的 LSTM 解釋清楚了，但是為了滿足更復(fù)雜的需求，LSTM出現(xiàn)很多變形。其中最流行的是由 Gers & Schmidhuber (2000) 提出的，增加 了 “peepholeconnection”。是說，我們讓“門”也要接受細(xì)胞狀態(tài)的輸入。

　　

　　LSTM 的變形 1-peephole connection

　　另一個(gè)變體是通過使用復(fù)合忘記和輸入門。不同于之前是分開確定什么忘記和需要添加什么新的信息，這里是一同做出決定。

　　

　　LSTM 的變形 2-復(fù)合忘記門和輸入門

　　還有比較流行的是改動較大的變體是 Gated Recurrent Unit (GRU)，這是由Cho, et al. (2014) 提出。它將忘記門和輸入門合成了一個(gè)單一的更新門。同樣還混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，和其他一些改動。最終的模型比標(biāo)準(zhǔn)的LSTM模型要簡單

　　

　　LSTM 的變形 3-GRU

量化金融分析師(簡稱AQF，Analyst of Quantitative Finance)由量化金融標(biāo)準(zhǔn)委員會(Standard Committee of Quantitative Finance，SCQF)主考并頒證，是代表量化金融領(lǐng)域的專業(yè)水平證書。 >>>點(diǎn)擊咨詢AQF證書含金量

　　

課程適合人群：

　　金融工程/數(shù)學(xué)專業(yè)背景的同學(xué)/工作人士，希望進(jìn)一步學(xué)習(xí)Python編程以及在量化投資的實(shí)戰(zhàn)應(yīng)用；

　　非金融工程專業(yè)背景的同學(xué)/工作人士，希望迅速成為寬客；

　　金融相關(guān)人員，希望學(xué)習(xí)如何系統(tǒng)的做量化策略；

　　個(gè)人投資者，希望系統(tǒng)學(xué)習(xí)掌握量化投資相關(guān)的實(shí)務(wù)技能，從模型開發(fā)，回測，策略改進(jìn)，搭建穩(wěn)定的量化交易系統(tǒng)。>>>點(diǎn)擊咨詢AQF課程相關(guān)問題

（點(diǎn)擊上圖了解課程詳情）

　　量化金融分析師AQF核心課程體系：

　　1、《量化投資基礎(chǔ)》

　　主要涵蓋了量化投資領(lǐng)域的必備知識，包括：基本面分析、技術(shù)分析、數(shù)量分析、固定收益、資產(chǎn)組合管理、權(quán)益、另類投資等內(nèi)容。

　　2、《Python語言編程基礎(chǔ)》

　　包含了Python環(huán)境搭建、基礎(chǔ)語法、變量類型、基本函數(shù)、基本語句、第三方庫、金融財(cái)務(wù)實(shí)例等內(nèi)容。旨在為金融財(cái)經(jīng)人提供最需要的編程方法。

　　3、《基于Python的經(jīng)典量化投資策略》

　　包含了最富盛名，最基本的量化交易思想和交易策略。例如：海龜交易模型、Logistics模型、配對交易模型、波動擴(kuò)張模型、Alpha模型、機(jī)器學(xué)習(xí)(隨機(jī)森林模型、主成分分析)、深度學(xué)習(xí)(人工神經(jīng)網(wǎng)絡(luò))等內(nèi)容。

　　4、《量化交易系統(tǒng)設(shè)計(jì)》

　　旨在學(xué)習(xí)量化交易系統(tǒng)的具體知識，包括過濾器，進(jìn)入信號，退出信號，倉位管理等詳細(xì)內(nèi)容，并指導(dǎo)學(xué)員設(shè)計(jì)涵蓋個(gè)人交易哲學(xué)的量化交易系統(tǒng)。

　　5、《量化實(shí)盤交易》

　　旨在為解決實(shí)際量化交易策略搭建過程中的一些問題提供較優(yōu)解決方案。 >>>點(diǎn)擊咨詢AQF相關(guān)問題

　　

　　掌握Python及量化投資技能，我們能做什么?

1、熟悉中國主要金融市場及交易產(chǎn)品的交易機(jī)制；

2、熟知國內(nèi)外期貨交易、股市交易的異同點(diǎn)和內(nèi)在運(yùn)行機(jī)制；

3、掌握經(jīng)典量化交易策略細(xì)節(jié)及其背后的交易哲學(xué)；

4、掌握金融、編程和建模知識基礎(chǔ)，擁有量化交易實(shí)盤操作能力；

5、具備獨(dú)立自主地研發(fā)新量化交易策略的能力；

6、掌握量化交易模型設(shè)計(jì)的基本框架，以及風(fēng)險(xiǎn)管理和資產(chǎn)組合理論的實(shí)際運(yùn)用；

7、掌握從策略思想——策略編寫——策略實(shí)現(xiàn)餓完整量化投資決策過程；具備量化投資實(shí)戰(zhàn)交易能力。

　　

　　

更多內(nèi)容推薦閱讀：

如何成為一名優(yōu)秀的量化金融分析師？

AQF到底是什么鬼？哪類人適合參加AQF考試？

2019年量化金融分析師（AQF）全國統(tǒng)一考試報(bào)名簡章

Wind、Excel和Python三大金融技能兼修，下一個(gè)金融分析大神就是你

金程推薦： AQF培訓(xùn) AQF培訓(xùn)機(jī)構(gòu) AQF是什么意思

咨詢電話：400-700-9596

AQF考友群：760229148

　　金融寬客交流群：801860357

　　微信公眾號：量化金融分析師

　　>>>返回首頁