來源:少數派投資 作者:高浩銘
1、ChatGPT中的注意力機制大家都知道,ChatGPT對理解語義的任務表現的非常出色,它是基于Transformer模型建立的。Transformer模型是谷歌在2017年《Attention is All You Need》一文提出的,這里的Attention,即注意力機制,則是Transformer模型的核心。沒錯,“注意力”機制就是類似于人類生活中樸素的注意力。
(相關資料圖)
從心理學的角度,人們在復雜環境中傾向于關注值得注意的點。比如科學家曾做過這樣的實驗,當人們看下圖時,注意力主要集中在紅色的區域,因為人們的大腦已經可以快速判斷哪個區域蘊含的信息最多。
類比于人類的注意力,Transformer模型也懂得化繁為簡,它在訓練過程中通過對比接收到的問題與全樣本所有問題的關鍵特征,越相似的對結果的影響越大,即計算相似度加權獲得結果。
區別于傳統更強調時間序列的模型,它可以捕捉到長時間跨度數據之間的關系。通過訓練大量數據,Transformer模型可以提取關鍵信息和發現潛在模式,使得注意力朝著正確的方向發展。
應用在投資領域,訓練Transformer模型就好比讓它不斷地在模擬盤中摸爬滾打,循環往復,朝著更高的收益努力,它就可能從一開始只關注價格,進化為更關注量價關系,甚至是發現一些高勝率高賠率的交易信號,這種注意力的變化便是模型的關鍵。如果收益曲線還不錯,就說明模型的注意力關注到了重要的信息。
2、行為金融學中的有限注意力介紹完Transformer模型中擬人化的注意力機制,我們再回到起點——人類的注意力。在金融市場中,投資者往往面臨著海量的信息,無論是紛繁復雜的技術指標還是天花亂墜的產業邏輯,我們很難將所有的因素都考慮進來。
因此,我們會依據自身經驗去篩選關鍵的信息,從而做出投資決策。行為金融學中的有限注意力理論關注過程中容易出現的偏差:投資者往往會關注那些更容易獲得、更顯眼的信息,而忽略其他重要但不易察覺的信息。這種選擇性關注導致了投資決策的偏誤,從而影響市場的有效性。
前一段時間TMT板塊大火,機構討論度相當高,專家們通過比較宏觀環境、事件催化與技術指標,紛紛對標起歷史上各段火爆行情,不僅對標TMT板塊歷史上的行情,還有對標其他成長賽道初期的行情。在這個過程中,國外巨頭企業的事件驅動、國內更耳熟能詳的企業以及結構化行情中的領漲股等等這些都足夠引人關注。我們更應該在事前找到未來會被廣泛關注的機會,而不是被漲跌綁架,避免因注意力的有限產生非理性的行為偏差。
3、投資需要什么樣的注意力?從定義上來看,Transform模型中的注意力機制與行為金融學中的注意力理論都涉及到“注意力”這一概念,但它們的本質是不同的。舉個例子,如果讓Transformer模型與研究員同時參與TMT板塊的決策:Transformer模型是為了高收益的目標,通過無數次模擬盤嘗試,調整對于行情的注意力,最后進行決策——但是這個注意力究竟是什么樣的,我們不得而知;研究員是通過多年的學習與積累,建立起了自己的投資體系,決策前對于本輪行情的關注點是可知的——但對于是否能取得正收益很難給出具體的數據支持。
兩者的缺點都顯而易見,前者是:若ChatGPT真推薦一只股票(真實情況是它對于投資相關的問題回答的非常理性),但無法給出具體的原因,你真的敢買嗎?而后者的問題就容易在我們每一個投資者身上發生:我們的注意力容易被市場中太多信息干擾,尤其在行情火熱時,看似理性分析的注意力恰恰是非理性的情緒造成的。
主觀與量化相結合的體系則可以在一定程度上取長補短。量化的回測方式避免了被漲跌綁架,造成先入為主的簡單對標邏輯。特別是對于剛剛接觸市場的投資者,沒有經歷過的行情信息均可以被利用;對于經歷過的行情,回測也可以進行標準化檢驗,避免了記憶偏差與幸存者效應。它給予你的指導是可回溯、可迭代的。
在主觀的注意力機制中,人們的創造力又可以提供給量化模型更多“所見即所得”的策略,而不僅限于黑盒中的數據拷問。比如說,這輪由國外新技術推動的行情很容易讓大家聯想到之前的“云宇宙”、“機器人”等,那么這里的信息顯然不是股價走勢那么簡單,如果僅僅讓模型在量價關系中訓練,是無法獲得這個在大多人眼中“顯而易見”的觀點的。畢竟語義理解技術再先進,GPT4也是從已有的語料庫中訓練得到,邏輯思考能力依舊有待提升,而靈光乍現的創造力或許能注入新的活力。
盡管Transformer模型中的注意力與行為金融學中的注意力有所不同,但它們在金融領域存在一定的聯系,可以相互借鑒和結合,從而在市場猶豫時把握分歧的機會,在市場狂熱時做出更理性的決策。
關鍵詞:

10天超2500萬玩家 《守望先
全球熱點評!科倫藥業:河南
電話車險便宜嗎(電話車險怎
抖音與三星堆達成合作 一起
快訊 | 愛馬仕2023年Q1收
今日熱訊:“大”有乾坤 場
48小時點擊排行


