CFA中新加入的Fintech知識梳理
1、introduction
傳統(tǒng)數(shù)據來源包括年度報告，監(jiān)管標準文件，銷售和收入數(shù)據以及與分析師召開電話會議等形式的公司數(shù)據。傳統(tǒng)數(shù)據還包括在金融市場中生成的數(shù)據，包括貿易價格和數(shù)量。由于世界聯(lián)系越來越緊密，我們現(xiàn)在可以從各種設備獲取數(shù)據，包括智能手機，相機，麥克風，射頻識別(RFID)讀取器，無線傳感器和現(xiàn)在全世界都在使用的衛(wèi)星。隨著互聯(lián)網和此類網絡設備的出現(xiàn)，使用非傳統(tǒng)數(shù)據源或替代數(shù)據源——包括社交媒體(帖子，推文和博客)，電子郵件和文本通信，網絡流量，在線新聞網站和其他電子信息源——已經出現(xiàn)。
Big Data通常是指的具有以下特征的數(shù)據集：
l 數(shù)量(volume)：文件，記錄和表中收集的數(shù)據量非常大，代表數(shù)百萬甚至數(shù)十億的數(shù)據點。
l 速度(velocity)：數(shù)據通信的速度非?？?。實時數(shù)據或近似實時數(shù)據在許多領域中已經成為了常態(tài)。
l 種類(variety)：數(shù)據從許多不同的來源以各種格式收集，包括結構化數(shù)據(例如，SQL表或CSV文件)，半結構化數(shù)據(例如，HTML代碼)和非結構化數(shù)據(例如，視頻消息)。
大數(shù)據可以是結構化，半結構化或非結構化數(shù)據。結構化數(shù)據項可以在表中生成，并且通常存儲在數(shù)據庫中，其中每個字段表示相同類型的信息。非結構化數(shù)據可能是分散的，無組織的數(shù)據，無法以傳統(tǒng)的表格形式表示。非結構化數(shù)據，例如社交媒體，電子郵件，文本消息，錄音，圖片，博客，掃描儀和傳感器生成的數(shù)據，通常需要不同的專業(yè)應用程序或自定義程序處理之后 才能對投資專業(yè)人員的分析有用。例如，為了分析電子郵件或文本中包含的數(shù)據，可能需要專門開發(fā)或定制的計算機代碼來首先處理這些文件。半結構化數(shù)據可以具有結構化和非結構化數(shù)據的屬性。
2、Big Data的來源
l 金融市場(例如股票，固定收益，期貨，期權和其他衍生品)，
l 企業(yè)(例如，公司財務，商業(yè)交易和信用卡購買)，
l 政府(例如，貿易，經濟，就業(yè)和工資單數(shù)據)，
l 個人(例如，信用卡購買，產品評論，互聯(lián)網搜索日志和社交媒體帖子)，
l 傳感器(例如，衛(wèi)星圖像，運輸貨物信息和交通模式)，特別是
l 物聯(lián)網(LoT)(例如，由“智能”建筑物生成的數(shù)據，其中建筑物提供關于氣候控制，能源消耗，安全性和其他操作細節(jié)的穩(wěn)定信息流)。
通常來看，在收集商業(yè)信息時，分析師傾向于利用傳統(tǒng)的數(shù)據來源，采用統(tǒng)計方法來衡量績效，預測未來增長，并分析行業(yè)和市場趨勢。相比之下，大數(shù)據的分析結合了替代數(shù)據集(alternative data)的使用。
3、替代數(shù)據集(alternative data)
自20世紀90年代末以來，大數(shù)據一詞一直在使用，它指的是工業(yè)，政府，個人和電子設備生成的大量數(shù)據。Big Data包括從傳統(tǒng)來源(如證券交易所，公司和政府)以及非傳統(tǒng)數(shù)據類型(也稱為替代數(shù)據)生成的數(shù)據，這些數(shù)據源于使用電子設備，社交媒體，傳感器網絡和公司排放(在正常經營過程中產生的數(shù)據)。
從零售銷售數(shù)據到社交媒體情緒，再到可能揭示農業(yè)，航運和石油鉆井平臺信息的衛(wèi)星圖像，替代數(shù)據集可以提供有關消費者行為，公司業(yè)績，趨勢以及其他與投資相關活動重要因素的額外見解。這些信息對專業(yè)投資者，特別是量化投資者進行財務分析和決策過程的方式產生了重大影響。
classification of alternative data
在尋找可能影響證券價格，增強資產選擇，改善交易執(zhí)行和發(fā)現(xiàn)趨勢的新因素時，正在使用替代數(shù)據集來支持數(shù)據驅動的投資模型和決策。隨著對替代數(shù)據集的興趣不斷增加，收集，匯總和銷售替代數(shù)據集的專業(yè)公司數(shù)量也在增長。
雖然替代數(shù)據集的作用正在擴大，但投資專業(yè)人員應該理解與不屬于公共領域的信息相關的潛在法律和道德問題。例如，抓取網絡數(shù)據可能潛在地會收集受法規(guī)保護的個人信息，或者可能在未經所涉?zhèn)€人明確知情和同意的情況下發(fā)布或提供的個人信息。許多司法管轄區(qū)仍在制定較佳做法，而且由于國家監(jiān)管機構采取不同的方法，可能存在相互矛盾的指導形式。
4、Big Data的挑戰(zhàn)
當用于投資分析時，大數(shù)據帶來了一些挑戰(zhàn)，包括數(shù)據的質量，數(shù)量和適當性。關鍵問題圍繞以下問題展開：數(shù)據集是否具有選擇偏差，缺失數(shù)據或數(shù)據異常值?收集的數(shù)據量是否足夠?數(shù)據集是否適合分析類型?在大多數(shù)情況下，在進行分析之前，必須對數(shù)據進行溯源，清洗和重構。由于所涉及的數(shù)據的非結構化特征，這種過程對于替代數(shù)據而言可能是非常困難的，其通常是定性的(例如，文本，照片和視頻)而不是定量的特征。
考慮到替代數(shù)據集的大小和復雜性，傳統(tǒng)的分析方法不能總是用于解釋和評估這些數(shù)據集。為了應對這一挑戰(zhàn)，出現(xiàn)了人工智能和機器學習技術，提供了對如此龐大而復雜的信息來源的分析支持。
5、introduction
人工智能計算機系統(tǒng)(artificial intelligence computer system)能夠執(zhí)行傳統(tǒng)上人類智慧需要的任務。人工智能技術使計算機系統(tǒng)具有與人類相當?shù)恼J知和決策能力成為可能。
機器學習(Machine Learning)是一種從更廣泛的AI領域發(fā)展而來的技術。ML算法本質是計算機程序，能夠“學習”如何完成任務，隨著時間的推移提高他們的經驗。在目前在投資環(huán)境中，ML需要大量的數(shù)據用于“訓練”，因此盡管一些ML技術已經存在多年，但是數(shù)據不足的限制了更廣泛的應用。以前，這些算法無法通過大量的數(shù)據訓練形成模型之間的穩(wěn)定的關系?，F(xiàn)如今，大數(shù)據的發(fā)展為ML算法(如神經網絡)提供了足夠的數(shù)據來改善建模和預測精度，現(xiàn)在可以更多地使用ML技術。
在ML中，計算機算法被賦予“輸入變量”(一組變量或數(shù)據集)并且可以被給予“輸出變量”(目標數(shù)據)。算法從所提供的數(shù)據中“學習”，擬合輸入變量和輸出變量之間的模型關系。訓練(training)指的就是通過計算機算法發(fā)現(xiàn)輸入變量和輸出變量之間的聯(lián)系的一個過程。
ML涉及將數(shù)據集拆分為訓練數(shù)據集(training dataset)和驗證數(shù)據集(validation dataset)。訓練數(shù)據集通過算法基于數(shù)據中的歷史經驗模式識別輸入和輸出之間的關系。，然后在驗證數(shù)據集上測試這些關系。一旦算法成功驗證了訓練和驗證數(shù)據集，ML模型可用于基于其他數(shù)據集預測結果。
ML在處理底層數(shù)據和選擇適當?shù)臄?shù)據分析算法時仍需要人為判斷。在使用它們之前，數(shù)據必須“clean”且沒有偏差和虛假數(shù)據。如上所述，ML模型還需要足夠大量的數(shù)據，并且在可能沒有足夠的可用數(shù)據來訓練和驗證模型的情況下可能表現(xiàn)不佳。
分析師還必須認識到過度擬合(overfitting)數(shù)據可能引起的錯誤，因為過度擬合數(shù)據的模型可能會發(fā)現(xiàn)“錯誤”關系或“未經證實”的模式，這些模式將導致預測錯誤和錯誤的輸出預測。當ML模型精確地學習輸入和目標數(shù)據集時，會發(fā)生過度擬合。在這種情況下，模型已經對數(shù)據進行了“過度訓練”，并將數(shù)據中的噪聲視為真實參數(shù)。已經過度擬合的ML模型值得注意的是使用不同的數(shù)據集準確地預測結果并且可能過于復雜。當模型擬合不足時，ML模型將真實參數(shù)視為噪聲并且無法識別訓練中的關系數(shù)據。在這種情況下，該模型可能過于簡單化。欠擬合的模型通常不能完全的識別底層數(shù)據之間的關系。
此外，ML技術可能看起來是不透明的或“黑箱”方法，這些方法得出的結果可能不是完全理解或可被解釋的。
6、Machine Learning的類別
ML方法可以幫助識別變量之間的關系，檢測模式或趨勢，并從數(shù)據中創(chuàng)建結構，包括數(shù)據分類。機器學習方法的主要類型包括有監(jiān)督(supervised learning)和無監(jiān)督(unsupervised learning)學習。
在監(jiān)督學習中，計算機學習基于標記的訓練數(shù)據來建模關系。在監(jiān)督學習中，為了進行算法的訓練，輸入變量和輸出變量被標記。在學習如何較好地建立標記數(shù)據的關系之后，訓練的算法用于建?；蝾A測新數(shù)據集的結果。在嘗試發(fā)現(xiàn)信號或者變量，以預測股票的未來回報或試圖預測本地股票市場表現(xiàn)將在下一個工作日上漲，下跌或持平是可以使用監(jiān)督學習技術來解決的。
在無監(jiān)督學習中，計算機不給出標記數(shù)據，而是僅給出基于算法的描述數(shù)據及其結構。嘗試根據公司的特點將公司分類而不是使用已經制定的標準分組是一個可以使用無監(jiān)督學習技術來解決的案例。
AI的進展歷程已經與神經網絡技術的發(fā)展緊密聯(lián)系了在一起。在深度學習(或深度學習網絡)中，計算機使用神經網絡(通常具有許多隱藏層)來執(zhí)行多級非線性數(shù)據處理以識別模式。深度學習可以使用監(jiān)督學習或無監(jiān)督學習的機器學習方法。通過采用分層或多階段方法進行數(shù)據分析，深度學習可以幫助理解簡單的概念，從而對更復雜的概念進行分析。自1958年以來，神經網絡已經存在，并且自20世紀90年代初以來已經被用于許多應用，例如預測和模式識別。神經網絡基礎算法的改進提供了更準確的模型，可以更好地整合和學習數(shù)據。因此，這些算法現(xiàn)在在圖像，模式和語音識別等活動方面要好得多。在許多情況下，先進的算法比早期的神經網絡需要更少的計算能力，并且它們改進的解決方案使分析人員能夠發(fā)現(xiàn)信息并識別以前太難或太耗費時間而無法發(fā)現(xiàn)的關系。
7、conclusion
從傳統(tǒng)的統(tǒng)計分析到現(xiàn)在使用ML技術分析大數(shù)據，，代表了投資研究的重大發(fā)展，得益于更高的數(shù)據可用性和算法本身的進步，計算能力和軟件處理速度的提高以及存儲成本下降的進一步發(fā)展都支持了這種發(fā)展的演變。
ML技術被用于大數(shù)據分析，以幫助預測趨勢或市場活動，例如成功合并的可能性或政治選擇的結果。圖像識別算法現(xiàn)在可以分析來自衛(wèi)星圖像系統(tǒng)的數(shù)據，以提供關于零售商店停車場，運輸活動和制造設施中的消費者數(shù)量以及農作物產量的情報等等。
學金融找金程，對于CFA有疑問可撥打400-700-9596免費咨詢老師。
.gif)
.png)
相關推薦： cfa題型 CFA是什么 注冊金融分析師 CFA復習資料
2019年CFA備考交流群 909165458 。CFA資料&資訊隨時分享，與眾多CFA持證人交流考試經驗。
