火爆出圈的最強 AI GPT 是否可用于合約安全審計？_GPT

前言

近期ChatGPT爆火，其對傳統文字工作的效率提高及總結能力讓使用者驚艷。緊隨其后CodeGPT這樣基于GPT的插件出現，也充分體現了其對代碼編寫效率的提高。而最新GPT-4的發布，是否可以應用到對區塊鏈、Solidity智能合約的審計中呢？

基于這樣的疑問，我們進行了多種可行性測試。

測試環境及測試方法

測試使用的對比模型對象：GPT-3.5(Web),GPT-3.5-turbo-0301,GPT-4(Web)。

代碼片段使用Prompt：HelpmediscovervulnerabilitiesinthisSoliditysmartcontract.

漏洞代碼片段的檢測對比

在此部分，我們分三次測試，使用歷史上常見的漏洞代碼作為測試一和測試二的用例，來驗證其對基礎漏洞的檢測能力，測試三中使用中等難度的漏洞代碼作為測試用例。

測試一

用例：《智能合約安全審計入門篇——Phishingwithtx.origin》

漏洞代碼：

火幣尖峰對話卡咩：Defi項目的火爆集中在基于Token的金融領域:6月24日下午，在由火幣主辦的火幣尖峰對話“Waiting For ETH2.0”系列AMA活動中，火幣礦池與dForce創始人楊民道、Infstones Head of Bussiness Sili、Stafi&Wetez創始人卡咩、真本聰聯合創始人索老頭就“乘風破浪的以太坊DeFi ”展開主題討論，深度解讀ETH2.0將給行業帶來的重大影響。

在Stafi&Wetez創始人卡咩看來，目前Defi項目的火爆集中在基于Token的金融領域，無論是交易、穩定幣、借貸還是衍生品。他表示，任何基于Token的創新金融業務都有可能是新的引爆點，也會在引爆點后形成更寬的賽道。基于Token的業務將會發展的越來越快，種類會越來越多。在這種情況下，進行組合、重組或者整合的機會就開始變多，而邊緣一些為這些服務提供工具的機會也會出現。[2020/6/24]

對GPT進行提問：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

動態 | 新華網：炒幣、挖礦再度火爆，警惕披著區塊鏈馬甲的金融詐騙重出江湖:新華網發文《新華視點：“炒幣”“挖礦”再度火爆，警惕披著區塊鏈“馬甲”的金融詐騙“重出江湖”》。文章指出，一些不法分子打著區塊鏈旗號推廣宣傳虛擬貨幣、資金盤，將區塊鏈技術等同于虛擬貨幣，甚至出現“防范代幣發行融資風險政策已過時”等言論，有的用“鏈”“挖礦”“IMO”“STO”等花樣翻新的名目，披著區塊鏈的“馬甲”開展非法金融活動。目前，上海、北京、廣東等多地金融監管部門相繼出臺措施，對虛擬貨幣交易場所進行摸排整治。國家互聯網金融安全技術專家委員會區塊鏈研究室主任毛洪亮告訴記者，近期傳銷、資金盤等不法活動利用區塊鏈概念和發行虛擬貨幣進行包裝，本身與區塊鏈技術無關，涉及資金多，危害嚴重。[2019/12/4]

GPT-4(Web)answer

獨家 | Fomo3D第一輪大獎贏家揭曉 同類DAPP游戲或將再度火爆:第三方大數據評級機構RatingToken最新數據顯示，2018年8月21日全球共新增2014個合約地址，其中271個為代幣型智能合約。

另外RatingToken安全審計團隊專家指出，Fomo3D第一輪已經結束，獲獎者共獲得了10,469.660003123933104565個ETH。最后一筆有效買入交易發生在開獎前16分鐘，考慮到擁堵情況和參與者熱情，獲獎者操作極難復制。同時巨額利潤可能引起山寨類Fomo3D游戲再次爆發，參與此類游戲一定要注意智能合約代碼是否公開，合約安全是否有保障。特此提醒投資者需保持冷靜仔細甄別，警惕幸存者偏差誤導投資。

此外，昨日登上新增合約風險榜TOP10的合約包括Le Photon Token(LPT)、Relative Strengthening Index (RSI)、Your MOM(YMOM)、f3dplus(f3dplus)、JyagaEbiCoin(JEC)、FoMo3D Long Official(F3D)、FOMO Fast(FAST)、Okami PK Long Official(Okami)、SKW(SKW)和LandOwner VS Peasant(Land)。

如需查看更多智能合約檢測結果，請查看原文鏈接。[2018/8/22]

可以看到結果：3個測試版本都發現了關鍵的tx.origin相關問題。

AMD季報亮眼 GPU隨區塊鏈火爆而熱銷:美國半導體公司AMD季度財報非常亮眼，業界的焦點從芯片銷售轉移到了區塊鏈技術提供商的身份上面。區塊鏈的應用范圍已經不僅限于虛擬貨幣，隨時有望爆發。市面上發行流通的虛擬貨幣大多都需要“挖礦”，即虛擬貨幣礦工利用運行速度極快的GPU解決區塊鏈中復雜的數學難題，然后獲得新的數字貨幣作為獎勵。作為供應商，GPU價格上漲勢必將讓AMD和英偉達獲得巨大的收益。分析師預計，隨著全球越來越多的公司計劃進軍比特幣市場或者區塊鏈，GPU銷售將有望進一步增長。[2018/2/2]

測試二

用例：《智能合約安全審計入門篇——溢出漏洞》

漏洞代碼：

對?GPT?進行提問：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

孫宇晨發微博分析以太坊云養貓火爆原因:Tron創始人孫宇晨發布微博分析以太坊云養貓火的原因，他認為：“1.貓的基因是真隨機數，血統高貴花費的努力與時間能夠被精準度量。2.數據去中心化，機制透明催生了公正市場。3.線上擼貓比線下省力，宅男女喜歡。4.數據透明，容易炫耀與比較。5.線上擼貓交易透明標準化易于交割，帶有投資屬性。6.交易智能合約7*24小時營業。”[2017/12/6]

GPT-4(Web)answer

可以看到GPT-3.5(Web)、GPT-3.5-turbo-0301都發現了關鍵的Overflow漏洞，出乎意料的是GPT-4(Web)居然沒有相關提示。

測試三

用例：《空手套白狼——Popsicle被黑分析》

漏洞代碼：

對GPT進行提問：

GPT-3.5(Web)answer

GPT-3.5-turbo-0301answer

GPT-4(Web)answer

對比結果，我們可以看到3個版本都未發現關鍵的漏洞點。

代碼片段的檢測總結

可以看到GPT模型對簡單的漏洞代碼塊的檢測能力還是不錯的，但是對稍微復雜一點的漏洞代碼暫時還無法檢測，并且在測試中可以看到GPT-4(Web)的整體上下文可讀性很高，輸出格式清晰、舒服，但是其對代碼的審計能力暫時沒有遠超GPT-3.5(Web)、GPT-3.5-turbo-0301，甚至在部分測試中由于Transformer輸出存在一定的不確定性反而導致GPT-4(Web)遺漏了一些關鍵問題。

對比已知漏洞的全量合約檢測

為了更加契合普通項目方在合約審計中的簡單操作需求，這里我們提高些難度，針對代碼量大的合約進行全量導入上下文，讓GPT-4模型進行審計。

用例：《千萬美元被盜——DeFi平臺MonoXFinance被黑分析》

整份合約分批輸入，在對話最后提出檢測漏洞請求

這里使用Prompt：

Hereisasoliditysmartcontract?

Contractcode

Theaboveisthecompletecode,helpmediscovervulnerabilitiesinthissmartcontract.

可以看到，GPT-4雖然在OpenAI公布的信息中其單次輸入字符總數已經是當前最高，但還是會由于文本超長導致在最后提問時GPT會上下文缺失而只識別到部分內容，所以這樣對大型合約而言就無法進行完整的上下文審計。

拆封整份合約，分批輸入分批檢測

這里使用Prompt：

對話1：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段內容1

對話2：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段內容2

對話3：

Helpmediscovervulnerabilitiesinthissoliditysmartcontract.

分段內容3

總結

GPT當前是否適合合約分析

優點

GPT對合約代碼中基礎的簡單的漏洞具備部分檢測能力，并且在檢測出漏洞后會以很高的可讀性來解釋漏洞問題，這樣的特性比較適合為初級合約審計工作者前期訓練提供快速指導和簡單答疑。

存在的問題

a.每次生成內容波動

GPT對每次對話的輸出存在一定的波動，可以通過API接口參數進行調整，但是依舊不是恒定的輸出，雖然這樣的波動性對語言對話來說是好的方式，大大提高了對話給人的真實感。但是這對代碼分析類的工作來說是一個不好的問題。因為為了覆蓋AI可能告知我的多種漏洞回答，我需要多次請求同一問題并進行對比篩選，這無形中又提高了工作量，違背了AI輔助人類提高效率的基準目標。

例如這里再次運行"漏洞代碼片段的檢測對比測試二：

可以看到其輸出結果比之前測試又多了一些額外內容。

b.?漏洞分析能力依舊有很大的提高空間

對稍微復雜的漏洞進行檢測即會發現當前的訓練模型不能正確的分析并找到相關關鍵漏洞點。

GPT輔助合約審計的可行性和潛力分析

雖然當前來看GPT對合約漏洞的分析及挖掘能力還處于相對較弱的狀態，但它對普通漏洞小代碼塊的分析并生成報告文本的能力依舊讓使用者興奮，在可預見的未來幾年伴隨這GPT及其他AI模型的訓練開發，相信對大型復雜合約的更快速，更智能，更全面的輔助審計一定會實現。當科技發展可指數級提高人工的效率時就會發生質變，我們非常期待AI對區塊鏈安全的助力，我們會持續關注新AI產品對區塊鏈安全的影響。最后可見的將來我們必將與AI在一定程度上進行融合，愿AI和區塊鏈與你同在。

Tags：GPT區塊鏈WEBANSCGPT開發區塊鏈數字貨幣coinweb交易所合法嗎Yearn Loans Finance

以太坊交易