達摩院貓頭鷹 mPLUG-Owl 亮相：模塊化多模態大模型，追趕 GPT-4 多模態能力_OWL

來源：機器之心

純文本大模型方興未艾，多模態領域也開始涌現出多模態大模型工作，地表最強的GPT-4具備讀圖的多模態能力，但是遲遲未向公眾開放體驗，于是乎研究社區開始在這個方向上發力研究并開源。MiniGPT-4和LLaVA問世不久，阿里達摩院便推出mPLUG-Owl，一個基于模塊化實現的多模態大模型。

今天要介紹的是mPLUG-Owl，該工作不僅通過大量cases展示出優秀的多模態能力，還第一次針對視覺相關的指令理解提出一個全?的測試集OwlEval，通過人工評測對比了已有模型，包括LLaVA、MiniGPT-4、BLIP-2以及系統類MM-REACT等工作，實驗結果表明mPLUG-Owl展示出更優的多模態能力，尤其在多模態指令理解能力、多輪對話能力、知識推理能力等方?表現突出

Draper Associates合伙人：經濟衰退即將來臨:金色財經報道，風險投資公司Draper Associates創始合伙人Tim Draper在MiamiWeb3會議中表示，加密貨幣市場持續動蕩，經濟衰退即將來臨，但可能存在一線希望，因為前31大最有價值公司中有30家是在熊市之后成立的。他說，“我們正在經歷一場根本性的變革，將會有很多摩擦，Web3人士要保持低調，繼續做事。當大環境不好時，人們就會專注于質量，比特幣將成為更中心化的加密貨幣中的贏家”。[2022/12/1 21:14:26]

論文鏈接：https://arxiv.org/abs/2304.14178

代碼鏈接：https://github.com/X-PLUG/mPLUG-Owl

PolySwarm推出代幣獎勵來收集惡意軟件數據:金色財經報道，網絡安全數據公司PolySwarm今天開始直播其眾包報告系統。用戶可以下載NectarNet瀏覽器插件，它將收集他們在數字荒野中遇到的惡意軟件的URL和域數據。大約400名現有用戶已經在僅受邀請的基礎上安裝了該應用程序。PolySwarm表示，這些用戶每天可以賺取大約2美元的NCT獎勵。這是一個類似于Brave Browser如何使用他們的基本注意令牌獎勵用戶觀看廣告的系統。（the block）[2022/8/18 12:34:42]

ModelScope體驗地址：

https://modelscope.cn/studios/damo/mPLUG-Owl/summary

HuggingFace體驗地址：

https://huggingface.co/spaces/MAGAer13/mPLUG-Owl

英偉達二季度財報不及預期，市場分析稱受挖礦顯卡需求暴跌影響:8月9日消息，昨日，英偉達（NVIDIA）披露了一份業績預告，公司2022年第二季度營收為67億美元，大幅不及市場預期為81億美元，環比下降19%。游戲業務收入大幅不及市場預期，季度營收20.4億美元，環比下降44%，同比下降33%。數據中心收入為38.1億美元，環比增長1%，同比增長61%。

該公司將其業績不佳歸咎于游戲業務萎靡和PC市場需求下跌，另外，有分析指出加密市場崩盤導致的顯卡需求暴跌也給英偉達帶來不小的沖擊。隨著加密貨幣貶值，礦工們對昂貴顯卡的需求減少。（華爾街見聞）[2022/8/9 12:12:15]

多模態能力展示

我們把mPLUG-Owl與現有工作進行對比來感受一下mPLUG-Owl的多模態效果，值得一提的是，該工作中評比的測試樣例基本上都來自已有工作，避免了cherrypick問題。

交易公司 BlockFills 上線芝商所的加密貨幣衍生產品:6月9日消息，全球數字資產金融服務公司 BlockFills 宣布，將在其交易生態系統中上架來自芝商所（CME Group）的加密貨幣衍生品產品。新產品將解決機構和專業交易者的關鍵市場準入問題，BlockFills 合伙人兼董事 Neil Van Huis 表示，傳統金融公司、專業交易員和做市商已經表達了他們對交易芝商所加密期貨和期權、以及我們現有的實物加密產品套件的興趣。隨著加密衍生品和實時市場數據添加到 BlockFills 平臺，以及現有的現貨加密產品，機構客戶將受益于更多的工具訪問，使他們能夠有效地發現價格、轉移風險或優化他們的交易策略。

該公司表示，交易擬在 2022 年第三季度以 beta 形式公布，隨后將可供全球機構和專業交易者使用。[2022/6/9 4:12:54]

下圖6展示了mPLUG-Owl很強的多輪對話能力。

FTX 創始人SBF已在捐贈承諾平臺Giving Pledge簽署捐贈誓言:6月2日消息，FTX 創始人 SBF 已在捐贈承諾平臺 Giving Pledge 簽署捐贈誓言，承諾將大部分財富用于慈善事業。

據悉，Giving Pledge 成立于 2010 年，由微軟創始人比爾·蓋茨與投資人巴菲特共同創立，旨在鼓勵超級富豪做出更大的捐贈。迄今為止，該承諾共有來自 28 個不同國家的 230 個簽署者，包括扎克伯格、馬斯克等。（Coindesk）[2022/6/2 3:57:26]

從圖7中可以發現，?mPLUG-Owl具有很強的推理能力。

如圖9展示了一些笑話解釋例?。

在該工作中，除了評測對比外，該研究團隊還觀察到mPLUG-Owl初顯一些意想不到的能力，比如多圖關聯、多語?、文字識別和文檔理解等能力。

如圖10所示，雖然在訓練階段并沒有進行多圖關聯數據的訓練，mPLUG-Owl展現出了一定的多圖關聯能力。

如圖11所示，盡管mPLUG-Owl在訓練階段僅使用了英文數據，但其展現出了有趣的多語?能力。這可能是因為mPLUG-Owl中的語?模型使用了LLaMA，從而出現了這一現象。

盡管mPLUG-Owl沒有在帶有標注的文檔數據上進行訓練，但其仍然展現出了一定的文字識別和文檔理解能力，測試結果如圖12所示。

方法介紹

該工作提出的mPLUG-Owl，其整體架構如圖2所示。

模型結構：它由視覺基礎模塊(開源的ViT-L)、視覺抽象模塊以及預訓練語?模型(LLaMA-7B)組成。視覺抽象模塊將較?的、細粒度的圖像特征概括為少量可學習的Token，從而實現對視覺信息的?效建模。?成的視覺Token與文本查詢一起輸?到語?模型中，以?成相應的回復。

模型訓練：采用兩階段的訓練方式

第一階段：主要目的也是先學習視覺和語?模態間的對?。不同于先前的工作，?mPLUG-Owl提出凍住視覺基礎模塊會限制模型關聯視覺知識和文本知識的能力。?因此mPLUG-Owl在第一階段只凍住LLM的參數，采用LAION-400M，?COYO-700M，?CC以及MSCOCO訓練視覺基礎模塊和視覺摘要模塊。

第?階段：延續mPLUG和mPLUG-2中不同模態混合訓練對彼此有收益的發現，Owl在第?階段的指令微調訓練中也同時采用了純文本的指令數據(52kfromAlpaca+90kfromVicuna+50kfromBaize)和多模態的指令數據(150kfromLLaVA)。作者通過詳細的消融實驗驗證了引?純文本指令微調在指令理解等方?帶來的收益。第?階段中視覺基礎模塊、視覺摘要模塊和原始LLM的參數都被凍住，參考LoRA，只在LLM引?少量參數的adapter結構用于指令微調。

實驗結果

SOTA對比

為了比較不同模型的多模態能力，該工作構建一個多模態指令評測集OwlEval。由于?前并沒有合適的自動化指標，參考Self-Intruct對模型的回復進行人工評測，打分規則為：A="正確且令人滿意"；B="有一些不完美，但可以接受"；C="理解了指令但是回復存在明顯錯誤"；D="完全不相關或不正確的回復"。

對比結果如下圖3所示，實驗證明Owl在視覺相關的指令回復任務上優于已有的OpenFlamingo、BLIP-2、LLaVA、MiniGPT-4。

多維度能力對比

多模態指令回復任務中牽扯到多種能力，例如指令理解、視覺理解、圖?上文字理解以及推理等。為了細粒度地探究模型在不同能力上的?平，本文進一步定義了多模態場景中的6種主要的能力，并對OwlEval每個測試指令人工標注了相關的能力要求以及模型的回復中體現了哪些能力。

結果如下表格6所示，在該部分實驗，作者既進行了Owl的消融實驗，驗證了訓練策略和多模態指令微調數據的有效性，也和上一個實驗中表現最佳的baseline—MiniGPT4進行了對比，結果顯示Owl在各個能力方?都優于MiniGPT4。

Tags：OWLPLUGPLUMPLDoge Superbowlplugchain幣是那國發行的COZPLusAmplify Protocol

幣安下載