兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_AMA

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

美股兩大股指收盤微跌，道指小幅收高:標普500指數4月23日（周四）收盤下跌1.50點，跌幅0.05%，報2797.80點；

納斯達克指數4月23日（周四）收盤下跌0.60點，跌幅0.01%，報8494.75點；

道瓊斯指數4月23日（周四）收盤上漲39.40點，漲幅0.17%，報23515.26點。[2020/4/24]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

東證期貨將通過區塊鏈等打造兩大核心競爭力:東方證券股份有限公司(600958.SH)發布2019年度報告。報告稱，未來東證期貨將堅持以金融科技助力衍生品發展為主線，通過大數據、云計算、人工智能、區塊鏈等金融科技手段打造研究和技術兩大核心競爭力。[2020/3/28]

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

兩大原油期貨跌幅超過4.5% 歐佩克與俄羅斯談崩:有市場消息指俄羅斯不同意深化減產規模，受此影響，美、布兩油重挫逾1.6美元，布倫特原油一度逼近47美元/桶關口。行情顯示，美國WTI跌幅擴大至4.78%，布倫特原油跌幅擴大至4.85%。（金十）[2020/3/6]

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

聲音 | 百度首席架構師譚待：當前區塊鏈發展存在兩大難點:在2018區塊鏈行業P.O.D大會上，百度首席架構師兼區塊鏈實驗室負責人譚待表示，目前區塊鏈的發展存在兩個難點，一個是底層技術限制，技術發展初期性能、容量、安全性待提升，技術壁壘高。第二個是沒有真正影響力的應用，他認為，滿足用戶需求從而激活大量用戶，才是區塊鏈技術的真正落地。[2018/9/6]

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMALAMALlamaMPTYamanote-SenLAMA幣Llamaverseimpt幣最新消息

比特幣交易