BuidlerDAO x KNN3：大型語言模型使用經驗_ROM

作者：@於方仁 @Caroline Sun

編排：@黑羽小斗

LLM

大型語言模型（LLM, Large Language Model）是利用海量的文本數據進行訓練海量的模型參數。大語言模型的使用，大體可以分為兩個方向：

A. 僅使用

B. 微調后使用

僅使用又稱 Zero-shot，因為大語言模型具備大量通用的語料信息，量變可以產生質變。即使 Zero-shot 也許沒得到用戶想要的結果，但加上合適的 prompt 則可以進一步獲取想要的知識。該基礎目前被總結為 prompt learning。

大語言模型，比較流行的就是 BERT 和 GPT。從生態上講 BERT 與 GPT 最大的區別就是前者模型開源，后者只開源了調用 API ，也就是目前的 ChatGPT。

兩個模型均是由若干層的 Transformer 組成，參數數量等信息如下表所示。

目前生態上講，BERT 多用于微調場景。因為微調必須在開源模型的基礎上，GPT 僅開源到 GPT2 的系列。且相同模型參數量下 BERT 在特定場景的效果往往高于 GPT，微調需要調整全部的模型參數，所以從性價比而言，BERT 比 GPT 更適合微調。

而 GPT 目前擁有 ChatGPT 這種面向廣大人民群眾的應用，使用簡單。API 的調用也尤其方便。所以若是僅使用 LLM，則 ChatGPT 顯然更有優勢。

ChatGPT Prompt

Axie Infinity Builders推出“Mavis Hub：Greenlight”計劃:金色財經報道，作為 Axie Infinity 構建者計劃的一部分，Sky Mavis 推出了 Mavis Hub：Greenlight。該計劃旨在培養 Axie 生態系統中的新游戲開發者，為他們提供一個與社區分享早期游戲版本的平臺。它還提供了額外的工具和潛在的資金來支持他們的游戲開發工作。Mavis Hub 還引入了投票系統，促進社區參與和在平臺上列出 Axie 游戲的競爭。[2023/8/9 21:33:31]

下圖是 OpenAI 官方提出對于 ChatGPT 的 prompt 用法大類。

Figure 1. Prompt Categories by OpenAI 

每種類別有很多具體的范例。如下圖所示：

Figure 2. Prompt Categories Examples by OpenAI

除此以外，我們在此提出一些略微高級的用法。

高級分類

這是一個意圖識別的例子，本質上也是分類任務，我們指定了類別，讓 ChatGPT 判斷用戶的意圖在這

幣安推出首個元宇宙真人秀節目“Build The Block”:5月8日消息，幣安全球創意工作室Binance Studio宣布將首次推出“Build The Block”。這是一個新的全球數字媒體內容系列，12個Web3初創公司將在該節目中競爭幣安的獨家資源曝光。Build The Block是首個以Crypto為主題的創業競演真人秀，同時也是幣安首次涉足元宇宙真人秀。該節目首集將于5月12日22:00(UTC+8)上線Binance Live與幣安官方YouTube賬號。[2023/5/9 14:50:34]

Figure 3. Prompt Examples

實體識別與關系抽取

利用 ChatGPT 做實體識別與關系抽取輕而易舉，例如給定一篇文本后，這么像它提問。

Figure 4. Example Text Given to ChatGPT

這是部分結果截圖：

Figure 5. Partial Output from given Text on ChatGPT

之后可以追問給他們的關系，例如：

Figure 6.Asking relationship on ChatGPT

全球小費打賞文化平臺TIP已報名參加幣安智能鏈BUIDL獎勵計劃:據官方消息，經過初步的篩選，TIP已成功報名參與MVB計劃，成功進入第二階段。

據悉，TIP是用于構建基礎設施的項目，同時在在TVL與流動性、日活躍用戶、成熟的用戶社區、Certik安全審計等方面也表現不錯。[2022/3/16 14:00:45]

這樣，一個大型的知識圖譜便可輕松建立。

分析任務

如下圖所示，我對 ChatGPT 提出了分析我目前需求的問題。

Figure 7. Result for needs request on ChatGPT

甚至還能讓它給定分數。

Figure 8. Scoring to evaluate the identified needs

除此以外還有數不勝數的方式，在此不一一列舉。

組合Agent

另外，我們在使用 ChatGPT 的 API 時，可以將不同的 prompt 模板產生多次調用產生組合使用的效果。我愿稱這種使用方式叫做，組合 Agent。例如 Figure 1 展示的是一個大概的思路。

聲音 | BUIDL：加密貨幣的價格波動率影響礦工的參與度:據Crypto Watch消息，日本BUIDL公司發表研究論文《挖礦ASIC設備投資及看漲期權的無套利原理》。根據該研究，對于使用ASIC的挖礦業務，在特定條件下的，ASIC設備的理論適當價格與衍生交易的“看漲期權”的期權成本相匹配。基于ASIC設備的理論合理價格，證明了挖礦業務的激勵受加密貨幣價格波動率的影響。同時，它表明ASIC設備的現價不受加密貨幣價格長期趨勢的影響。它還指出，礦工或不同意穩定加密貨幣價格的政策，因為礦工的收入隨加密貨幣價格波動率而增加。[2019/4/12]

Figure 9.  The Paradigm of the Combination Agent

具體說來，例如是一個輔助創作文章的產品。則可以這么設計，如 Figure 10 所示。

Figure 10. Agent combination for assisting in creation

假設用戶輸入一個請求，說“幫我寫一篇倫敦游記”, 那么 Intent Recognition Agent 首先做一個意圖識別，意圖識別也就是利用 ChatGPT 做一次分類任務。假設識別出用戶的意圖是文章生成，則接著調用 Article Generate Agent。

另一方面，用戶當前的輸入與歷史的輸入可以組成一個上下文，輸入給 Chat Context Analyze Agent。當前例子中，這個 agent 分析出的結果傳入后面的 AI Reply Agent 和 Phase Control Agent的。

世界糧食計劃署：“Building Blocks”項目成功服務10萬名難民:外媒消息，近日，世界糧食計劃署(WFP)已采用區塊鏈技術來應對全球性饑餓問題。“Building Blocks”項目采用了以太坊的區塊鏈技術，無需轉移現金和食品，便完成與零售商和銀行的結算。高效、廉價和安全地幫助WFP解決了10萬名難民的饑餓問題。[2018/3/23]

AI Reply Agent 就是用來生成 AI 回復用戶的語句，假設我們的產品前端并不只有一個文章，另一個敵方還有一個框用來顯示 AI 引導用戶創作文章的語句，則這個 AI Reply Agent 就是用來干這個事情。將上下文的分析與文章一同提交給 ChatGPT，讓其根據分析結果結合文章生成一個合適的回復。例如通過分析發現用戶只是在通過聊天調整文章內容，而不知道 AI 還能控制文章的藝術意境，則可以回復用戶你可以嘗試著對我說“調整文章的藝術意境為非現實主義風格”。

Phase Control Agent 則是用來管理用戶的階段，對于 ChatGPT 而言也可以是一個分類任務，例如階段分為[文章主旨，文章風格，文章模板，文章意境]等等。例如 AI 判斷可以進行文章模板的制作了，前端可以產生幾個模板選擇的按鈕。

使用不同的 Agent 來處理用戶輸入的不同任務，包括意圖識別、Chat Context 分析、AI 回復生成和階段控制，從而協同工作，為用戶生成一篇倫敦游記的文章，提供不同方面的幫助和引導，例如調整文章的藝術意境、選擇文章模板等。這樣可以通過多個 Agent 的協作，使用戶獲得更加個性化和滿意的文章生成體驗。 

Prompt 微調

LLM 雖然很厲害，但離統治人類的 AI 還相差甚遠。眼下有個最直觀的痛點就是 LLM 的模型參數太多，基于 LLM 的模型微調變得成本巨大。例如 GPT-3 模型的參數量級達到了 175 Billion ，只有行業大頭才有這種財力可以微調 LLM 模型，對于小而精的公司而言該怎么辦呢。無需擔心，算法科學家們為我們創新了一個叫做 prompt tuning 的概念。

Prompt tuning 簡單理解就是針對prompt進行微調操作，區別于傳統的 fine-tuning，優勢在于更快捷， prompt tuning 僅需微調 prompt 相關的參數從而去逼近 fine-tuning 的效果。

Figure 11. Prompt learning

什么是 prompt 相關的參數，如圖所示，prompt tuning 是將 prompt 從一些的自然語言文本設定成了由數字組成的序列向量。本身 AI 也會將文本從預訓練模型中提取向量從而進行后續的計算，只是在模型迭代過程中，這些向量并不會跟著迭代，因為這些向量于文本綁定住了。但是后來發現這些向量即便跟著迭代也無妨，雖然對于人類而言這些向量迭代更新后在物理世界已經找不到對應的自然語言文本可以表述出意思。但對于 AI 來講，文本反而無意義，prompt 向量隨著訓練會將 prompt 變得越來越符合業務場景。

假設一句 prompt 由 20 個單詞組成，按照 GPT3 的設定每個單詞映射的向量維度是12288，20個單詞便是245760，理論上需要訓練的參數只有245760個，相比175 billion 的量級，245760這個數字可以忽略不計，當然也會增加一些額外的輔助參數，但同樣其數量也可忽略不計。

問題來了，這么少的參數真的能逼近 fine tuning 的效果嗎，當然還是有一定的局限性。如下圖所示，藍色部分代表初版的 prompt tuning, 可以發現 prompt tuning 僅有在模型參數量級達到一定程度是才有效果。雖然這可以解決大多數的場景，但在某些具體垂直領域的應用場景下則未必有用。因為垂直領域的微調往往不需要綜合的 LLM 預訓練模型，僅需垂直領域的 LLM 模型即可，但是相對的，模型參數不會那么大。所以隨著發展，改版后的 prompt tuning 效果可以完全取代 fine-tuning。下圖中的黃色部分展示的就是 prompt tuning v2 也就是第二版本的 prompt tuning 的效果。

Figure 12. Prompt learning parameters

V2 的改進是將原本僅在最初層輸入的連續 prompt 向量，改為在模型傳遞時每一個神經網絡層前均輸入連續 prompt 向量，如下圖所示。

Figure 13. Prompt learning v2

還是以 GPT3 模型為例，GPT3 總從有96層網絡，假設 prompt 由20個單詞組成，每個單詞映射的向量維度是12288，則所需要訓練的參數量 = 96 * 20 * 12288 =23592960。是175 billion 的萬分之1.35。這個數字雖不足以忽略不計，但相對而言也非常小。

未來可能會有 prompt tuning v3, v4 等問世，甚至我們可以自己加一些創新改進 prompt tuning，例如加入長短期記憶網絡的設定。(因為原版的 prompt tuning v2 就像是一個大型的 RNN, 我們可以像改進RNN 一般去改進prompt tuning v2)。總之就目前而言，prompt tuning 使得微調 LLM 變得可行，未來一定會有很多垂直領域的優秀模型誕生。

總結

Large Language Models (LLMs) 和 Web3 技術的整合為去中心化金融（DeFi）領域帶來了巨大的創新和發展機遇。通過利用 LLMs 的能力，應用程序可以對大量不同數據源進行全面分析，生成實時的投資機會警報，并根據用戶輸入和先前的交互提供定制建議。LLMs 與區塊鏈技術的結合還使得智能合約的創建成為可能，這些合約可以自主地執行交易并理解自然語言輸入，從而促進無縫和高效的用戶體驗。

這種先進技術的融合有能力徹底改變 DeFi 領域，并開辟出一條為投資者、交易者和參與去中心化生態系統的個體提供新型解決方案的道路。隨著 Web3 技術的日益普及，LLMs 創造復雜且可靠解決方案的潛力也在擴大，這些解決方案提高了去中心化應用程序的功能和可用性。總之，LLMs 與 Web3 技術的整合為 DeFi 領域提供了強大的工具集，提供了有深度的分析、個性化的建議和自動化的交易執行，為該領域的創新和改革提供了廣泛的可能性。

參考文獻

金色薦讀

金色財經 善歐巴

Chainlink預言機

區塊律動BlockBeats

白話區塊鏈

金色早8點

Odaily星球日報

歐科云鏈

MarsBit

深潮TechFlow

Tags：ROMMPTOMPPROMNeuromorphicSMPT幣Compound 0xprom幣和fxs幣哪個好

BNB價格