來源:新智元
前段時間,浙大&微軟發布了一個大模型協作系統HuggingGPT直接爆火。
研究者提出了用ChatGPT作為控制器,連接HuggingFace社區中的各種AI模型,完成多模態復雜任務。
整個過程,只需要做的是:用自然語言將你的需求輸出。
英偉達科學家稱,這是我本周讀到的最有意思的論文。它的思想非常接近我之前說的「EverythingApp」,即萬物皆App,被AI直接讀取信息。
上手體驗
現在,HuggingGPT增加了Gradio演示。
項目地址:https://github.com/microsoft/JARVIS
有網友便上手體驗了一番,先來「識別圖上有幾個人」?
HuggingGPT根據推理結果,得出圖片中有2個人正在街道上行走。
Aptos推出2000萬美元獎勵計劃,鼓勵藝術家進行鏈上創作:金色財經報道,Aptos宣布將推出2000萬美元的藝術家獎勵計劃,以鼓勵藝術家使用Aptos區塊鏈進行創作。創作者可以在Aptos基金會的網站上提交申請。Aptos將向獲獎者提供資金和“基礎設施接入”,幫助其“最大限度地利用”公司的生態系統。Aptos表示,它已經向熱衷于使用其區塊鏈創建Web3項目的藝術家和創作者提供了300萬美元。[2023/4/13 14:00:14]
具體過程如下:
首先使用圖像到文本模型nlpconnect/vit-gpt2-image-captioning進行圖像描述,生成的文本「2個女人在有火車的街道上行走」。
接著,使用了目標檢測模型facebook/detrresnet50來檢測圖片中的人數。模型檢測出7個物體,2個人。
再使用視覺問題回答模型dandelin/vilt-b32-finetuned-vqa得出結果。最后,系統提供了詳細的響應和用于解答問題的模型信息。
加密交易所Bitso上市Circle歐元幣:金色財經報道,拉丁美洲加密交易所Bitso已將歐元幣(EUROC)加入其產品類別。EUROC由Circle發行,是一種由歐元支持的穩定幣,現在可供Bitso的600多萬客戶用歐元進行兌換、購買、出售、存款、儲蓄、投資或進行本地和國際轉賬。
根據CoinGecko的數據,自2022年6月底在以太坊網絡上推出以來,歐元幣的市值已達2600萬歐元。[2023/1/13 11:10:37]
另外,讓它理解「我愛你」這句話的情感,并將其翻譯成泰米爾語。
HuggingGPT調用了以下模型:
首先,使用了模型「dslim/bert-base-NER」對文本「lloveyou」進行情感分類,是「浪漫」。
然后,使用「ChatGPT」將文本翻譯成泰米爾語,即「Nanunnaikadalikiren」。
Fidenza創始人的新NFT項目QQL Mint Pass上線后收入1700萬美元:金色財經報道,QQL Mint Pass是由Fidenza創始人Tyler Hobbs共同創建的一個新項目,于2022年9月28日推出后獲得了約1700萬美元的收入。據QQL網站稱,該項目共有999個NFT,其中99個由創建者保留用于“特殊目的”。
此前報道,Hobbs以為計算機生成的NFT項目Fidenza創建算法而聞名,該項目在二級市場上的最高售價為1,000ETH(當時為350萬美元)。(the block)[2022/9/29 22:38:57]
在推理結果中沒有生成的圖片、音頻或視頻文件。
轉錄MP3文件時,HuggingGPT卻失敗了。網友表示,「不確定這是否是我的輸入文件的問題。」
再來看看圖像生成的能力。
輸入「一只貓跳舞」圖像上添加文字「ILOVEYOU」作為疊加層。
以太坊基金會:以太坊合并后約4%的驗證者已經從網絡中退出,低于預期:9月15日消息,據The Block引援以太坊基金會的電話會議,在以太坊合并升級激活后,大約4%的驗證者已經從網絡中退出。這不足以特別影響網絡,并且低于合并之前的一些估計。這些驗證者可能需要修復一些配置問題,然后應該能夠返回網絡。[2022/9/15 6:58:24]
HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根據給定的文本生成「跳舞的貓」的圖片。
然后,使用同一個模型根據給定的文本生成了「ILOVEYOU」的圖片。
最后,將2個圖片合并在一起,輸出如下圖:
賈維斯照進現實
項目公開沒幾天,賈維斯已經在GitHub上收獲了12.5k星,以及811個fork。
研究者指出解決大型語言模型當前的問題,可能是邁向AGI的第一步,也是關鍵的一步。
比特幣挖礦難度已上調9.26%至30.98T:金色財經報道,據BTC.com數據顯示,比特幣挖礦難度于今日14:40(區塊高度751968)迎來挖礦難度調整,挖礦難度上調9.26%至30.98T。目前比特幣未確認交易量為5414筆。全網算力為221.92 EH/s,24小時交易速度3.05交易/s。[2022/8/31 12:59:59]
因為當前大型語言模型的技術仍然存在著一些缺陷,因此在構建AGI系統的道路上面臨著一些緊迫的挑戰。
為了處理復雜的人工智能任務,LLMs應該能夠與外部模型協調,以利用它們的能力。
因此,關鍵點在于如何選擇合適的中間件來橋接LLMs和AI模型。
在這篇研究論文中,研究者提出在HuggingGPT中語言是通用的接口。其工作流程主要分為四步:
論文地址:https://arxiv.org/pdf/2303.17580.pdf
首先是任務規劃,ChatGPT解析用戶請求,將其分解為多個任務,并根據其知識規劃任務順序和依賴關系。
接著,進行模型選擇。LLM根據HuggingFace中的模型描述將解析后的任務分配給專家模型。
然后執行任務。專家模型在推理端點上執行分配的任務,并將執行信息和推理結果記錄到LLM中。
最后是響應生成。LLM總結執行過程日志和推理結果,并將摘要返回給用戶。
假如給出這樣一個請求:
請生成一個女孩正在看書的圖片,她的姿勢與example.jpg "/>中的男孩相同。然后請用你的聲音描述新圖片。
可以看到HuggingGPT是如何將它拆解為6個子任務,并分別選定模型執行得到最終結果的。
通過將AI模型描述納入提示中,ChatGPT可以被視為管理人工智能模型的大腦。因此,這一方法可以讓ChatGPT能夠調用外部模型,來解決實際任務。
簡單來講,HuggingGPT是一個協作系統,并非是大模型。
它的作用就是連接ChatGPT和HuggingFace,進而處理不同模態的輸入,并解決眾多復雜的人工智能任務。
所以,HuggingFace社區中的每個AI模型,在HuggingGPT庫中都有相應的模型描述,并將其融合到提示中以建立與ChatGPT的連接。
隨后,HuggingGPT將ChatGPT作為大腦來確定問題的答案。
到目前為止,HuggingGPT已經圍繞ChatGPT在HuggingFace上集成了數百個模型,涵蓋了文本分類、目標檢測、語義分割、圖像生成、問答、文本到語音、文本到視頻等24個任務。
實驗結果證明,HuggingGPT可以在各種形式的復雜任務上表現出良好的性能。
網友熱評
有網友稱,HuggingGPT類似于微軟此前提出的VisualChatGPT,似乎他們把最初的想法擴展到了一組龐大的預訓練模型上。
VisualChatGPT是直接基于ChatGPT構建,并向其注入了許多可視化模型。文中提出了PromptManage。
在PM的幫助下,ChatGPT可以利用這些VFMs,并以迭代的方式接收其反饋,直到滿足用戶的要求或達到結束條件。
還有網友認為,這個想法確實與ChatGPT插件非常相似。以LLM為中心進行語義理解和任務規劃,可以無限提升LLM的能力邊界。通過將LLM與其他功能或領域專家相結合,我們可以創建更強大、更靈活的AI系統,能夠更好地適應各種任務和需求。
這就是我一直以來對AGI的看法,人工智能模型能夠理解復雜任務,然后將較小的任務分派給其他更專業的AI模型。
就像大腦一樣,它也有不同的部分來完成特定的任務,聽起來很符合邏輯。
參考資料:
https://twitter.com/1littlecoder/status/1644466883813408768
https://www.youtube.com/watch?v=3_5FRLYS-2A
https://huggingface.co/spaces/microsoft/HuggingGPT
中文推特:https://twitter.com/8BTC_OFFICIAL英文推特:https://twitter.com/btcinchinaDiscord社區:https://discord.gg/defidao電報頻道:https://t.me/Mute_8btc電報社區:https://t.me/news_8btc
Tags:GPTINGHUGGINarbgpt幣上架幾家交易所NothingHUGOWrapped Origin Axie
〇、題記 到底是“左右逢源”還是“舉步維艱”,讓子彈飛一會兒吧。所謂技術壁壘也許就是如何更清晰有效的描述需求了,但也很難形成技術壁壘.
1900/1/1 0:00:00今天凌晨,?Sui開發團隊MystenLabs在官方推特上舉辦了主題為「TheWavetoMainnet」的TwitterSpace?.
1900/1/1 0:00:00前言 Web3是一個快速發展的領域,用戶可能會快速地從一個應用轉移到另一個應用,與這些應用相關的加密貨幣和代幣的價格也可能非常不穩定.
1900/1/1 0:00:00項目介紹:Sui是一個智能合約平臺,由一組無需許可的驗證器維護,這些驗證器扮演著類似于其他區塊鏈系統中的驗證器或礦工的角色。Sui為簡單用例提供可擴展性和前所未有的低延遲.
1900/1/1 0:00:00目錄1簡介2Frax穩定幣3Fraxv23.1抵押投資者AMO3.2曲線型AMO3.3單一交換AMO3.4借貸AMO4Frax價格指數4.
1900/1/1 0:00:00大家好,我們是Copa?Future,致力于在Web3領域探索更多投資可能性的掘金人。昨日參與Blofin、Greeks和Deribit主辦的關于加息周期內如何布局加密貨幣市場的會議后,我們也深.
1900/1/1 0:00:00