Stable Diffusion 團隊放大招！新繪畫模型直出 AI 海報，像素級生成_STA

來源：量子位

開源AI繪畫扛把子，StableDiffusion背后公司StabilityAI再放大招！

全新開源模型DeepFloydIF，一下獲星2千+并登上GitHub熱門榜。

DeepFloydIF不光圖像質量是照片級的，還解決了文生圖的兩大難題：

準確繪制文字。

以及準確理解空間關系。

Jack Dorsey：將用比特幣對UBI概念進行測試，Start Small已投資超5500萬美元:2 月 6 日消息，Twitter 聯合創始人兼 Block（前 Square）首席執行官 Jack Dorsey 近日談到比特幣對普遍基本收入（UBI）計劃的影響，他表示將用比特幣對 UBI 等概念進行測試，因為比特幣操作是透明的，代碼是透明的，政策也是透明的。

此外，Jack Dorsey 還透露，通過此前 Start Small 等商業計劃，他已經在美國和海外投資超過 5500 萬美元來試驗普遍基本收入計劃，包括創建一個由遵守比特幣標準的賣家和商家組成的小規模閉環社區，如果該社區運轉良好，Jack Dorsey 將把相關用例進一步擴大并推動大規模實施。

注：普遍基本收入是指一個擁有普遍基本收入的國家可保證每個人都有最低收入，不管此人處于何種類別——年齡、財富、工作狀態、家鄉、家庭成員人數等。普遍基本收入意味著，每個人都有能領到薪水，不管他有沒有工作，目前加拿大和芬蘭正在試驗此概念。[2022/2/6 9:33:43]

DeFi應用平臺Unagii發布Beta版本并啟動KyberNetwork的Staking質押服務:由新加坡區塊鏈基礎設施公司StakeWith.US推出的DeFi應用平臺Unagii宣布發布Beta測試版并支持KyberNetwork代幣KNC的Staking質押服務。Unagii同時表示，目前在質押KNC的初始階段不會收取任何手續費。

此前報道，StakeWith.US于今年5月宣布與去中心化鏈上交易和代幣互換項目KyberNetwork建立新的合作關系，將在Katalyst協議升級后和StakeWith.US合作提供代幣和投票權抵押服務。[2020/8/14]

網友表示，這可是個大事，之前想讓Midjourneyv5在霓虹燈招牌上寫個字AI都是瞎劃拉兩筆，對于鏡子理解的也不對。

?BitTok平臺幣BTOK上線StartUp專區，啟動抽簽申購:據官方消息，BitTok平臺幣通證BTOK將于新加坡時間6月7日00:00 正式上線Bittok Startup專區，啟動抽簽申購。具備申購資格的用戶將有機會參與抽簽，獲得BTOK。

BitTok交易所定位于全球用戶的數字資產智能管家，致力于打造數字資產全應用生態，為全球數字資產用戶創造價值。BTOK是基于以太坊Ethereum發行的去中心化ERC-20區塊鏈數字資產，發行總量恒定5億枚，且永不增發。

用戶可以通過持有BTOK享受手續費抵扣、社區治理投票等權益；同時可參與專屬活動；并可享受合伙人專屬特權包括但不限于推薦上幣權、新項目專屬申購、專屬交易手續費折扣等。[2020/6/6]

使用DeepFloydIF，可以把指定文字巧妙放置在畫面中任何地方。

BKEX Capital正式加入Ystar“超級Y星計劃”并達成戰略合作?:3月18日，BKEX Capital（幣客資本）宣布戰略投資應用流平臺Ystar。自15號Ystar團隊宣布開啟超級Y星2.0計劃以來，超級Y星招募已經突破60席（共88席）。

據悉，BKEX Capital是幣客生態下一支涉及投資、孵化的一體基金，主要以投資區塊鏈和數字資產領域高成長、潛力大的項目。投資對象主要在區塊鏈技術流派、區塊鏈應用項目、擁有真實流量單位的項目、國際化拓展能力強的項目。

Ystar黑科技導流平臺兩周融資1400萬，由共識實驗室、極客社群CSDN、Yotta生態基金領投，溪山天使會、極客資本等機構參投。[2020/3/18]

霓虹燈招牌、街頭涂鴉、服飾、手繪插畫，文字都會以合適的字體、風格、排版出現在合理的地方。

現場 | MetaStable Capital合伙人：項目是否有價值需要看其可用性:金色財經現場報道，今日在第二屆世界數字資產峰會上， MetaStable Capital合伙人Haseeb Qureshi在題為“在熊市找到新出路”的圓桌討論上表示， 雖然說投資機構曾經很快的從市值的增長中受益，但是實現區塊鏈、加密貨幣的應用是需要很長時間的過渡的。長期來講不應該把自己看成一個token的交易者，而是科技的投資者。項目是否有價值，還是要看其可用性。這一個過程需要時間，需要更多的投資者教育。[2018/12/12]

這意味著，AI直出商品渲染圖、海報等實用工作流程又打通一環。

還在視頻特效上開辟了新方向。

目前DeepFloydIF以非商用許可開源，不過團隊解釋這是暫時的，獲得足夠的用戶反饋后將轉向更寬松的協議。

有需求的小伙伴可以抓緊反饋起來了。

像素級圖像生成

DeepFloydIF仍然基于擴散模型，但與之前的StableDiffusion相比有兩大不同。

負責理解文字的部分從OpenAI的CLIP換成了谷歌T5-XXL，結合超分辨率模塊中額外的注意力層，獲得更準確的文本理解。

負責生成圖像的部分從潛擴散模型換成了像素級擴散模型。

也就是擴散過程不再作用于表示圖像編碼的潛空間，而是直接作用于像素。

官方還提供了一組DeepFloydIF與其他AI繪畫模型的直觀對比。

可以看出，使用T5做文本理解的谷歌Parti和英偉達eDiff-1也都可以準確繪制文字，AI不會寫字這事就是CLIP的鍋。

不過英偉達eDiff-1不開源，谷歌的幾個模型更是連個Demo都不給，DeepFloydIF就成了更實際的選擇。

具體生成圖像上DeepFloydIF與之前模型一致，語言模型理解文本后先生成64×64分辨率的小圖，再經過不同層次的擴散模型和超分辨率模型放大。

在這種架構上，通過把指定圖像縮小回64×64再使用新的提示詞重新執行擴散，也實現以圖生圖并調整風格、內容和細節。

并且不需要對模型做微調就可直接實現。

另外，DeepFloydIF的優勢還在于，IF-4.3B基礎模型是目前擴散模型中U-Net部分有效參數是最多的。

在實驗中，IF-4.3B取得了最好的FID分數，并達到SOTA。

誰是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的獨立研發團隊，深受搖滾樂隊平克弗洛伊德影響，自稱為一只“研發樂隊”。

主要成員只有4人，從姓氏來看均為東歐背景。

這次除了開源代碼外，團隊在HuggingFace上還提供了DeepFloydIF模型的在線試玩。

我們也試了試，很可惜的是目前對中文還不太支持。

原因可能是其訓練數據集LAION-A里面中文內容不多，不過既然開源了，相信在中文數據集上訓練好的變體也不會太晚出現。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在開源上的唯一動作

語言模型方面，他們也推出了首個開源并引入RLHF技術的聊天機器人StableVicuna，基于小羊駝Vicuna-13B模型實現。

目前代碼和模型權重已開放下載。

完整的桌面和移動界面也即將發布。

DeepfloydIF在線試玩：

https://huggingface.co/spaces/DeepFloyd/IF

代碼：

https://github.com/deep-floyd/IF

StableVicuna在線試玩：

https://huggingface.co/spaces/CarperAI/StableVicuna

權重下載：

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

參考鏈接：

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

Tags：STAFLODEEPPFLStacksMetaFlokiMon GoDeepwatersPFL價格

Polygon