摘要
線下生活的線上化及如火如荼的所有者經濟催生了巨大的數據存儲需求,具備巨大的商業和應用前景;
中心化存儲由于高昂的成本、預置的存儲格式等因素難以跟上數據指數型增長所帶來的存儲容量、數據讀寫速度、安全性和數據關系的變化,由此去中心化存儲應運而生;
去中心化存儲基于區塊鏈技術,具有可擴展性強、安全、效率高、自動容錯、可靠性高、成本更低的特性;
Web3.0的世界里,用戶海量的線上足跡和創作的線上作品創造了一個難以置信的巨大的數據王國,而這數據王國的維持依賴一個可靠穩定安全的數據存儲網絡;
元宇宙輝宏的世界里,貨幣化的虛擬物品若失去可信任的區塊鏈鏈上存儲的保護,一旦其對應的元數據和媒體數據失效或被篡改,則將會變成一張沒有承兌方的無價值支票;
現時主要的去中心化存儲方案為IPFS/Filecoin和Arweave項目,IPFS開創性地引入了激勵層Filecoin以確保數據在約定期限內的可靠存儲,而Arweave通過技術創新以期實現數據在鏈上的永久保存。
導語
2021年的夏天,一組由一萬個不規則像素組成但看起來很奇怪的小人忽然興起,讓人驚訝的是其單個頭像卻能以等價于幾千萬美金的以太坊成交;此后BoredApeYachtClub、Loot等成為加密市場的新寵。從加密藝術、游戲到頭像、文字,NFT的興起引燃了人們對元宇宙、對Web3.0的無盡想象。
然而當我們在談論作為身份象征的CryptoPunk、興致勃勃地邊玩邊賺游戲AxieInfinity、酣暢淋漓地構想在元宇宙里星辰大海的征途時,我們是否想過這些數據會被存儲在哪?是否擔心這些數據可能會被篡改?沒有人會希望花了幾千萬美金的頭像因為底層數據的篡改而一文不值,沒有人會希望在元宇宙里與朋友對話的珍貴回憶因為系統宕機而永遠消失。站在元宇宙和Web3.0紀元的起點,在數據爆發式增長的今天,我們急需一個安全、開放、自由、可靠的存儲網絡。
本文將通過介紹存儲之于Web3.0及元宇宙的深刻意義,嘗試向讀者描繪去中心化存儲在Web3.0及元宇宙中激動人心的應用。同時,本文還將立足于去中心化存儲的發展現狀,對不同的去中心化存儲方案進行研究和比對。
存儲的產業生態
新冠疫情的肆虐加速了真實世界與虛擬世界邊界的模糊,人們在真實世界中的工作、社交、娛樂、餐飲、購物、出行等活動幾乎都可以在互聯網世界中來執行;同時,從Web1.0到Web3.0,從被動的數據讀取到熱火朝天的內容創作,數據生產量發生了爆炸式的增長,并且還將以指數形式繼續增長。據360研究報告,全球數字內容創作市場預計將在2025年達到169億美金市值。如火如荼的所有者經濟模式和指數型增長的數據創造了巨大的數據存儲需求,芯片技術、算法、硬件等的發展促進了存儲技術的進步,而數據價值的釋放和數據安全的剛需又倒逼存儲技術的創新和基礎設施建設。在軟件及算法的迭代與融合中,存儲行業從傳統的磁盤存儲突破硬件的物理限制而逐漸演進到云存儲。作為區塊鏈技術的三大支柱之一,存儲對于Web3.0與元宇宙的發展都具有重大意義——從應用角度來看,數據安全與數據主權的最終歸屬關系著虛擬世界的穩定運行;而從經濟角度來看,元宇宙與Web3.0世界產生的海量數據存儲需求也有著巨大的商業前景。
去中心化交易所Saber在Solana上推出Huobi USD(HUSD)交易池:據官方消息,基于Solana的去中心化交易所Saber宣布在Solana上推出首個Huobi USD(HUSD)交易池。用戶現在可以在Saber平臺上使用HUSD與任何其他支持的比特幣錨定幣進行交易。流動性提供者通過向HUSD-USDC池存款來獲得收益。昨日,Saber宣布在Solana上推出首個Huobi BTC(HBTC)交易池。[2021/7/18 1:00:37]
全球數據產生量走勢圖,來源:www.slideshare.net/PerryLea/the-20-rule-how-the-seismic-growth-of-data-has-always-and-will-always-outgrow-telcom
礙于各種因素我們現時無法整體評估存儲市場的規模,但以云存儲為例,預計到2027年,全球云存儲市場規模將達到2,222億美元,在預測期內年復合增長率達21.9%(SnehaKoradRachitaRake&VineetKumar,2021)。
全球云存儲行業市場規模預測,來源https://www.alliedmarketresearch.com/cloud-storage-market
存儲的商業模式分為中心化和去中心化存儲,中心化存儲是將數據完整地存儲在中心化的服務器上,去中心化存儲則是采用分布式存儲技術將數據切片分散存儲在多個獨立的存儲供應商上。中心化存儲方案以高穩定性的性能、低廉的費用,滿足了企業級存儲的需求;去中心化存儲以其定制化存儲方案、經濟激勵模型、隱私性強等特點滿足了長尾企業市場的特殊場景要求。站在Web3.0與元宇宙的交匯處,對數據安全性和用戶數據所有權的重視,去中心化存儲的重要性將愈發凸顯。
2.1中心化存儲
中心化存儲,即將整個存儲集中在一個系統中的多套設備上,是過去大型主機時代的產物,采用有限的固定的節點數,數據訪問僅需經過一個控制器,因而具有低延遲的優點但相對費用較高、數據安全性、服務提供商的運營可擴展性低等問題。
中心化存儲系統順利運行的關鍵之一是存儲服務器穩定運轉,存儲服務器成為系統性能的瓶頸以及可靠性的焦點,對于存儲環境、硬件設備等提出了極高的要求,因而巨大的中心化存儲市場卻是巨人的蛋糕,亞馬遜、微軟、谷歌、阿里云四大巨頭合計占據了云存儲市場份額的67%。
ETC官方:PoW是我們唯一允許最大限度去中心化和抗審查網絡的共識算法:ETC官方發推特稱,最終,PoW是我們所擁有的唯一允許最大限度去中心化、無需許可、和天然抵制權力集中的抗審查網絡的共識算法。[2020/9/24]
2021Q1全球云存儲提供商的市場份額
隨著微博、Facebook等的傳播以及自我內容創作的流行,我們進入了數據以指數倍增長的時代,爆炸式的數據增長對存儲容量大小、擴充速度和數據備份等方面提出了更高的要求;用戶間實時的信息互動需要更快的數據讀寫速度和更高的安全性;同時,由于用戶自我創作產生的數據種類、數據間的關系變得更加復雜多樣化,存儲系統需要從過去單一的文件類型擴展至各種半結構化、非結構化的數據關系。而中心化存儲由于其高昂的建設成本以及行業進入壁壘,數據存儲容量、數據類型等的擴張都難以跟上數據生產的腳步,去中心化存儲由此應運而生。
2.2?去中心化存儲
就如IPFS(InterPlanetaryFileSystem)早期布道者胡飛瞳所說:“在中心化數據存儲的世界里,用戶不僅為數據存儲付費,而且還得不到很好的數據保護,這一現象必須改變。通過去中心化,用戶可以自己管理自己的數據、加密存儲、授權訪問、安全備份等等特性的實現將極大地加強用戶的隱私,也能增強數據的長期保存,同時,有望通過共享的模式大大降低費用。這是數據存儲發展的必然方向。”
去中心化存儲基于區塊鏈技術,采用開源的應用程序和算法,把數據切片分散存儲在多個獨立的網絡節點上,主張隱私保護、數據冗余備份等,并且通過對種子節點或文件上傳方提供經濟激勵使數據價值化。其中,經濟激勵模式使得用戶數據得以安全長久地保存正是去中心化存儲的點睛之筆。
當去中心化存儲遇上區塊鏈技術,便具有了可擴展性強、安全、效率高、自動容錯、可靠性高、成本更低的特性:
可擴展性:存儲節點的數量可無限擴展,每個節點的存儲容量亦可靈活調整;
安全性:無需了解合作對方或尋求第三方的信任,存儲信息拆分成碎片分散存儲在多個節點,存儲數據的加密不僅局限于用戶和軟件終端,而且在存儲網絡的所有環節中、在信息傳輸過程中通過私有網絡訪問密鑰、零知識證明等方法進行加密處理;
高效率:同一網絡上的節點可直接共享文件;
自動容錯:由于存儲內容已分散到網絡中的許多節點上,可在數據傳輸或存儲出錯時存儲額外的副本;
高可靠性:存儲系統內含的驗證機制能確保文件被完整真實地存儲,且能7*24小時供用戶隨時取用;
低成本:據悉,存儲一期《中國有嘻哈》視頻文件,按0.001美元/GB帶寬成本計算,則愛奇藝需支付給傳統存儲商一百萬美元,若采用IPFS分布式傳輸則可節省60%的帶寬成本。
去中心化存儲:Web3.0與元宇宙的交匯之處
觀點:YouTube禁止加密有關內容 去中心化平臺將變得不可避免:YouTube對加密相關內容的禁令一度給加密行業帶來了麻煩。基于區塊鏈的視頻交付網絡Theta Labs戰略負責人Wes Levitt表示,“我們將YouTube對加密內容的審查視為一個問題,隨著越來越多的流媒體被YouTube和其他主要平臺禁止,一個完全去中心化的平臺將變得不可避免。我認為完全去中心化的平臺不一定會取代YouTube,一些內容類型可能仍將更適合集中式平臺。但是去中心化的替代方案可以與YouTube并存,從而使觀看者有更大的選擇在線內容平臺的自由。”(Cointelegrapht)[2020/7/2]
3.1去中心化存儲與Web3.0
互聯網的起源可以追溯至1989年萬維網的誕生,如果說門戶網站開啟了Web1.0時代,那么2003年博客的興起標志了Web2.0的開端。從Web1.0到Web2.0,從被動的信息接收到自主創造內容與在線交互,互聯網用戶呼喚更注重用戶內容創作、易用性和互操作性的應用體驗,Web3.0呼之欲出。正如蒂姆·伯納斯·李所說,“人們一直在問什么是Web3.0。我想也許當你在Web2.0上有一個可擴展的矢量圖形覆蓋層——所有的東西都在蕩漾、折疊、看起來模糊不清——并且可以訪問一個集成在巨大數據空間中的語義網絡時,你就可以訪問一個難以置信的數據資源”。雖然現在我們還未對Web3.0達成一致的定義,但Web3.0應該具有以下特征:
開放性:由開放和可訪問的開發人員社區構建開源軟件,并且鏈上進行的操作能被所有人查看。
去信任化(Trustless):網絡本身允許參與者在沒有可信第三方的情況下公開或私下互動。Web3.0通過去中心化的激勵機制保證參與者遵守規則,在交易中利用區塊鏈協議的共識機制驗證賬戶的真實性和轉賬的有效性,達成去中介化的價值轉移。
去許可化:任何人,包括用戶和供應商,都可以在沒有管理機構授權的情況下參與。
互聯網的演化
Web3.0的星辰大海里,數字世界與物理世界的邊界正在模糊。用戶海量的線上足跡和創作的線上作品,如果沒有一個穩定可靠的數據存儲網絡在背后默默地記錄下,當我們興致勃勃地回望Web3.0世界里所發生的一切,那時可能只剩下一片模糊的碎片。
3.?2去中心化存儲與元宇宙
2021年隨著Roblox上市“元宇宙/Metaverse”概念忽然席卷了互聯網、VR/AR和金融投資界等各大行業,借著微型計算機、VR設備和以5G為代表的高速網絡技術的興起,人們來到了元宇宙紀元的門口。正如我們上一篇爆款研究報告《Metaverse全景透視:從過去看向未來》所說:元宇宙世界的點睛之筆正是其經濟系統。其一,基于區塊鏈的開放式支付和清算系統,可以滿足用戶在元宇宙世界的實時、公平、透明、快速的P2P支付需求;將元宇宙中用戶的虛擬物品或創新成果貨幣化,不僅賦予了用戶與真實物理世界近似的權益保障,更能極大地促進元宇宙資產的流通、交易并鼓勵用戶通過持續創新來獲得財富積累。而這背后,在元宇宙輝宏的世界里,龐大的用戶信息交互及創作的虛擬物品信息如若失去可信任的區塊鏈鏈上存儲的保護,一旦其對應的元數據和媒體數據失效或被篡改,那么用戶手上的NFT所有權憑證將會變成一張沒有承兌方的無價值支票。
聲音 | ConsenSys創始人:文件共享平臺將是去中心化行業的第一個殺手級應用:據blokt報道,ConsenSys創始人Joe Lubin演講表示,以太坊創始人Vitalik Buterin的領導能力是通過行動和榜樣,而不是通過命令。Vitalik在幾個問題上保持沉默,是因為他認為可能會對社區產生影響。Vitalik一直在努力使該項目更加開放,并賦予更多的人權力。
此外,Joe Lubin認為,文件共享平臺將是去中心化行業的第一個殺手級應用,其次是加密貨幣,可用于在全球范圍內存儲或傳輸價值。[2019/1/12]
TheSandbox游戲內虛擬資產,數據源:TheSandbox
3.?3主要的去中心化存儲解決方案
3.3.1Bittorren
最早期的去中心化傳輸方案為Bittorrent,即BT下載,由軟件工程師BramCohen于2003年提出,通過P2P下載的方式克服了傳統下載方式的局限性——不需要資源發布者擁有高性能服務器來傳輸資源,且下載同一文件的人越多下載該文件的速度越快,加上其免費使用這一收費模式,吸引了眾多的網民使用。然而Bittorrent下載必須使用種子文件,即下載內容的所有地址放到這個種子文件中才能下載,且客戶端只能下載種子文件內的內容。但種子文件可能隨著時間推移而減少甚至消失,這也意味著存儲的內容可能會在傳播中消失。Bittorrent的另一個明顯的問題是缺乏激勵機制,缺失激勵用戶無償共享文件的動力。在適當的經濟激勵缺席下,只有那些廣受流行且不斷有人下載的內容才能幸存下來,而某些未能引起大眾注意的精華則可能消失在歷史的長河中,只留下一抹模糊的剪影。
3.3.2IPFS/Filecoin
IFPS是2015年提出的另一去中心化存儲方案,克服了bittorrent的不足——可存儲內容的多個版本、可預下載內容,進而實現去中心化、快速、高效率、可靠性、安全的內容存儲。值得注意的是,IPFS又開創性地引入了激勵層Filecoin,通過通證激勵機制以確保文件在約定期限內的可靠存儲。
Filecoin允許任何個體利用空閑的硬盤空間和帶寬在公開市場上提供數據存儲和檢索服務,將未用硬盤容量貨幣化,并通過PoRep和Post來保證礦工真實存儲文件的情況,防止女巫、生成、外包等虛假存儲數據的攻擊。簡單來說RoRep是證明礦工真實存儲了數據,而Post則是證明礦工一直將該數據存儲在自己的硬盤中。運作原理如下圖:用戶通過發布訂單尋找合適的存儲礦工,數據加密并分割后發送至礦工,礦工將該信息添加至存儲區塊進行存儲并持續證明其工作以獲得獎勵。
聲音 | 帥初:G與TPS相乘才能體現去中心化網絡整體性能:據火星財經消息,量子鏈(Qtum)創始人帥初在活動中首度披露GTPS概念,即G代表全節點數量,TPS為每秒交易數。帥初表示,對于公鏈而言,兩者相乘才能真正體現一個去中心化網絡的整體性能,而不是單純地去對比TPS。[2018/12/14]
IPFS工作原理圖,圖片來源:https://www.8btc.com/article/613165
當然,filecoin的這種模式并不意味著它就是完美無缺的。IPFS挖礦需要專業設備—GPU礦機而使挖礦成本較高,行業進入壁壘的提高導致普通個體可能無法直接參與存儲挖礦,進而全網總存儲將向少數存儲供應商或大規模礦池集中。這從某種程度上來說,IPFS所構想的完全去中心化在執行過程中又變成了少數供應商壟斷的“中心化”存儲。
Filecoin主網于2020年10月上線,目前已有3,175個活躍節點,主要遍布于北美、歐洲、中國、韓國等。截止21年10月14日,Filecoin全網提供了12.393EiB有效算力,當前基礎費率為0.1052nanoFIL,封裝32G存儲花費4.958Fil/TiB。
Filecoin節點分布圖,圖片來源:filscan.io/statistics/map
Filecoin基線與算力走勢圖,圖片來源:filscan.io/statistics/map
伴隨著filecoin底層網絡和基礎設施的完善,其網絡效應發展的前期紅利吸引了更多的應用來布局。截至目前,filecoin已建立起一個涵蓋“消費者存儲應用、數據市場、數檢索、NFT、Defi、可驗證存儲和隱私”等領域的生態環境,如Fileswan、NFTStororage、Opera、Livepeer等項目。
Filecoin生態圖,圖片來源:https://github.com/filecoin-project/community/discussions/194
3.3.3Arweave
與Filecoin將數據存儲在鏈下不同,另一存儲方案Arweave將數據內容直接存儲在區塊網中,是主打永久存儲+鏈上存儲的去中心化存儲方案。如下圖所示,Arweave方案分為兩層架構:底層的區塊網絡Blockweave和上層基于HTTP構建的Permaweb。Arweave項目的技術亮點正是其底層Blockweave網絡:
Blockweave:
項目采用了全新的區塊鏈網Blockweave——基于共識機制和特定的出塊模式,即將之前所有區塊的哈希值做成一個哈希列表并將系統中所有活躍錢包做成一個列表,礦工通過檢索哈希列表和錢包列表來完成驗證工作,而無需像BTC、ETH等節點一樣去驗證整個節點,這種方式減少了能源消耗并提高了節點工作效率。
激勵算法Wildfire:
與Filecoin需要持續性地收取存儲費用不同,Arweave只在數據寫入時收取一次性的永久存儲費用,之后用戶讀取數據都是免費的,為了鼓勵節點對數據讀取請求作出響應,Arweave引入了激勵算法widfire。簡單來說,Wildfire就是一個節點評分系統,根據節點發送新交易和區塊的次數以及響應請求的速度來讓每個節點對其他節點排名。從相鄰節點得到的可靠數據越多則給對方的評分就越高,相應地出塊概率就越大。
智能網SmartWeave:
SmartWeave將智能合約執行的計算負擔從節點轉移到了用戶,即Arweave網絡中只存儲了應用程序的所有數據,這些數據將以代碼的形式提供給瀏覽器或其他客戶端應用程序,因而使得Arweave能支持需要大量計算的Dapp。
Arweave架構
雖然Arweave存儲方案將數據保存在鏈上,能保證數據的不可篡改、“永久存儲”和所有人公開訪問;然而這種模式也具有一定的弊端。其一,數據的不可篡改導致任何改動都只能通過上傳新數據,這將造成一定的迭代成本。其二,為了保證數據的永久存儲,Arweave需要不斷吸引新的節點加入同時確保節點的邊際收益大于邊際成本,然而Arweave節點數一直在減少,目前僅有146個節點,較2020年5月的490個節點減少了70%。
Arweave節點分布圖,來源:https://viewblock.io/arweave/stats
Arweave主網于2019年1月29日上線,并于2020年5月推出具有捆綁交易存儲功能的Arweave2.0版本,鏈上交易量在2021年開始發力并于今年9月達到頂峰(9月日均交易量超8萬筆)。Solana上MetaplexCandyMachine的推出以及ipfs2arweave跨鏈橋的推出等造就了Arweave的亮麗表現。
Arweave交易量統計,來源:https://viewblock.io/arweave/stat/txCountHistory
縱觀Arweave生態項目,目前較為活躍的是NFT、DeFi及基礎設施賽道,如Koii、Limestone等項目,目前生態還處于建設的早期階段。
Arweave生態一覽???????
展望
站在Web3.0與元宇宙的交匯處,對數據安全性和用戶數據所有權的重視,去中心化存儲的重要性將愈發凸顯。去中心化存儲與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式等多個維度的差異,導致現時去中心化存儲的規模和性能遠遠不如中心化存儲系統。雖然IPFS、Arweave等項目通過不同的“非中心化”設計方式彌補了其不同的缺陷,并引入通證激勵使全網存儲總規模擴大,但是項目方與用戶的利益不一致、費用結構的等因素阻礙了項目的快速拓展,其生態構建尚處于早期階段,未來需要在費用、節點量、用戶量之間找到平衡,實現規模與性能的兼顧。
去中心化存儲方案的對比
我們期待隨著元宇宙和Web3.0紀元的開啟,網絡的“飛輪效應”使去中心化存儲能迎來應用爆發的浪潮,期待存儲技術的改進和經濟激勵模式的優化,去中心化存儲這一賽道能有長足穩定的發展。
參考文獻
CloudStorageMarket(2021),SnehaKoradRachitaRake,VineetKumar,https://www.alliedmarketresearch.com/cloud-storage-market
分布式存儲——千億存儲市場的藍海大戰,https://www.8btc.com/article/613165
2020分布式存儲產業鏈研究報告,焦仕可https://www.jinse.com/news/blockchain/835473.html
A'morerevolutionary'Web(2006),VictoriaShannon,https://www.nytimes.com/2006/05/23/technology/23iht-web.html
WhatIsWeb3.0&WhyItMatters,FabricVenture,https://medium.com/fabric-ventures/what-is-web-3-0-why-it-matters-934eb07f3d2b
IPFSandFriends:AQualitativeComparisonofNextGenerationPeer-to-PeerDataNetworks(2021),ErikDanielandFlorianTshorsch
出品:LDCapitalResearch
作者:Betty、YY
研究員:JamesKuo、NoiseZhou、Lightmanben
我們真正應該構建的是生產性資產和穩定幣特別感謝DavidAndolfatto、VitalikButerin、Chih-ChengLiang、BarnabéMonnot和DannyRyan對本文的.
1900/1/1 0:00:00加密貨幣目前處于部署階段,還有很長的路要走;加密貨幣發展中充滿騙局和投機性泡沫,這些都在預期和承受范圍之內,對未來重要的是現在能有多少基礎設施建設.
1900/1/1 0:00:0010月13日,Coinbase發布消息稱將于年底推出點對點NFT市場CoinbaseNFT,正式進軍NFT領域.
1900/1/1 0:00:0010月15日消息,津巴布韋財政部長MthuliNcube表示,津巴布韋準備軟化其在加密貨幣問題上的立場,打算制定一個框架和規則來管理數字貨幣資產類別的正式交易.
1900/1/1 0:00:00金色財經的,TikTok正在推出一個NFT系列,將看到其頂級內容創作者與頂級NFT創作者合作。新發布的TikTok最佳時刻將包含六個“具有文化意義的TikTok視頻”,創作者包括LilNasX、.
1900/1/1 0:00:00談及軟銀及其創辦人孫正義,人們并不陌生。孫正義領導的日本軟銀集團在全球進行了大量的投資,對雅虎和阿里巴巴的投資更是讓他名聲大噪。然而,神話締造者也有敗走麥城的時候.
1900/1/1 0:00:00