ZONFF Research：當我們談 Web3 數據，我們在談些什么？_WEB

作者：LewisLiao，ZonffPartners

當我們在談Web3數據的時候，在談些什么？想要弄清楚這個問題，首先我們要弄清楚，在Web2中數據是什么樣的。本文將從數據的產生、收集、存儲、管理和使用的全生命周期來展開討論。在此之前，我們首先明晰數據是如何被定義的。

中國全國信息安全標準化技術委員會出臺的《網絡安全標準實踐指南-數據分類分級指引》中，將數據分類為個人信息、公共數據和法人數據。

其具體定義與實例如下表，

在每個類別之上，又根據數據泄露的危害對象和程度分為5個級別：公開級、內部級、敏感級、重要級和核心級。對于公開級的數據，它更像是一個公共產品，是非競爭性和非排他性的。這種類型的數據一般由政府/公共組織提供，收益歸其所有，如天氣預報、宏觀經濟數據等等。

1.1數據的產生、收集和存儲

公共數據、個人數據和法人數據大部分是在我們日常使用計算機應用程序時產生的，其中與普通用戶切身相關的是個人數據和法人數據。

那么個人數據和法人數據是如何產生和被收集的呢？一個高度抽象的互聯網產品系統架構圖如下所示，

Web2應用架構

圖片來源：ZonffPartners

最底層的數據庫存儲著來自于后端傳遞過來的，用戶與前端互動產生的數據。廣義上說，這些都是用戶數據。

就移動端應用來說，數據大概可以分為以下幾類：

用戶信息，用戶使用應用服務記錄下來的與用戶相關的信息，包括用戶的身份信息、設備、網絡、地理位置甚至移動設備上安裝的應用列表等，由服務端數據表和埋點進行收集；

內容數據，用戶使用應用服務生產的數據，這些包括用戶任何主動在應用上交互寫入的非個人信息內容數據，屬于應用服務的一部分，一般由服務端數據表直接收集；

行為數據，用戶使用應用期間交互產生的數據，這些包括用戶在使用應用期間的行為習慣，如觀看時長、點擊率、滲透率、滑動情況等等，一般由埋點進行收集；

日志數據，用戶使用應用期間應用本身產生的數據，這些包括應用的崩潰日志等；

代碼數據，非用戶交互的數據包括前端與后端代碼，這些數據與用戶數據一樣，都是存儲在某個地方的中心化服務器上；

在這個分類當中，用戶信息屬于個人信息數據，日志和代碼數據屬于法人數據。其中值得討論的是內容數據和行為數據，它們在Web2時代更多被中心化實體劃分為自身的業務數據，即法人數據。

在Web3的應用中有什么不一樣嗎？PreethiKasireddy這張Web3產品架構可以幫助我們理解。

報告：Meta元宇宙VR平臺Horizon Worlds將置于“質量封鎖”狀態:金色財經報道，由于持續存在的漏洞，Meta領導層將該公司的元宇宙VR平臺Horizon Worlds置于“質量封鎖”狀態，將持續到今年年底。

根據The Verge獲得的公司內部備忘錄，Meta的Horizon Worlds團隊因為很少使用該平臺而多次受到部門領導的批評，盡管他們多次被要求在工作和家庭中使用該平臺。進一步的備忘錄顯示，Horizon Worlds團隊已被指示在今年剩下的時間里保持“質量封鎖”狀態，以解決平臺外觀和功能方面的長期問題。（decrypt）[2022/10/8 12:49:31]

Web3產品架構

圖片來源：PreethiKasireddy

與Web2應用相比，用戶終端與前端是幾乎沒有什么變化的，不一樣在于后端與數據庫。用戶通過前端與節點提供商互動，訪問布置在以太坊等區塊鏈上的合約代碼，并進行交互。在這個過程同樣會產生上述幾種類型的數據，由于技術架構的區別，Web3產生的數據并不是由一臺中心化服務器存儲，對于不同方式產生的數據其存儲的方式或有異同之處。

其中凡是智能合約交互產生的數據，都發布在區塊鏈上，任何人可以都訪問，它因此成為一種公共產品，這些包括資產信息、交易數據和合約代碼。理論上，只要區塊鏈塊空間夠大，任何數據都可以存儲在區塊鏈上，甚至也有的項目在嘗試將區塊鏈作為數據庫來存儲數據。

目前階段，一個Web3應用產生的數據，除以上三類數據以外，大多數仍然采用中心化服務器的存儲方式，這些包括前端代碼、用戶信息、內容數據、行為數據和日志數據。這是由于目前相關存儲基礎設施并不完善，項目方或受限于技術問題，或為了保證訪問速度等原因采取了中心化方案。隨著基礎設施的不斷發展，有很多功能越來越強大的存儲基建的出現，如IFPS、Stroj、Filecoin和Ceramic等，也有越來越多應用已經開始將自身部署在去中心化存儲上面，如將前端網站布置在IPFS上然后通過ENS訪問，從而搭建一個去中心化網站前端以及將NFT項目對應的圖片等文件數據用Arweave進行永存等等。

總的來說，在搭建一個Web3應用的時候，對于應用數據的存儲，開發人員通常可以有3種選擇：

將其存在區塊鏈上，這種選擇非常昂貴，會導致應用盡可能的簡單，并且數據完全公開，好處是最為直接保護了應用主權；

將智能合約邏輯存在區塊鏈上，其他存在傳統后端上。這種方法會犧牲用戶的主權性，同時有中心化的風險。這是目前大多數Web3應用采用的方式；

將智能合約邏輯存在區塊鏈上，其他存在IPFS、Arweave和Ceramic等存儲上，通過智能合約管理和更新數據，這種方法較為昂貴且暫時較為緩慢，但這種方法可以保護應用的主權性；

DeHorizon完成850萬美元Pre-A輪融資:10月11日消息，元宇宙游戲生態系統DeHorizon宣布完成850萬美元Pre-A輪融資，Sfermion、Dragonfly Capital、Everest Ventures Group領投，Animoca Brands、Yield Guild Games等參投。此輪融資資金用于即將推出的區塊鏈MMO/RPG DeVerse，將幫助加速DeVerse的發展并壯大團隊。[2021/10/11 20:20:54]

目前，絕大多數Web3應用是通過第2種方式進行搭建的，也有一些特定應用，目前已經可以使用第3種方式進行搭建，極少數應用是通過第1種方式進行搭建的。那么，我們應該選擇哪種方式存儲呢？什么樣的存儲方式是趨勢呢？

1.2趨勢：去中心化存儲-數據和應用主權

當談到搭建Web3應用的3種方式時，這有一個關鍵詞：主權。這個詞是當我們聊到Web3的特點時一個繞不開的話題，一般來說會包括數據主權和應用主權。那么主權重要嗎？這是另一個話題，本文不作探討，感興趣可以閱讀相關文章，如「Web3數據市場展望」和「Web3-Letthe"righttodata"awaken」。這里想從數據的角度，切入Web3主權確立的必經之路，并推演基礎設施發展的方向和重點。

關于數據主權，包括數字資產主權和用戶數據主權，「縱向流動性：價值如何互聯互通」一文中有談到關于代幣可以定義用戶的數字資產主權，這是由一個難以篡改的廣泛共識所決定的。最基礎的，這些權利的定義由區塊鏈本身就能完成，如一個代幣歸屬于哪一個地址。可一旦涉及到更復雜的數字產品權利歸屬，就會有很多問題出現，比較典型的就是NFT對應的圖片的存儲問題，「NFT：數字所有權的革命」中對這個問題進行過討論。大多數NFT的現狀是其對應的數字產品存儲在某個地方的中心化服務器上，一旦服務器崩潰或者被黑，那么用戶所擁有的就只是一串鏈上哈希，哈希背后真正的“物品”則隨時可以被偷竊或者替換，變得毫無價值。

此外，用戶數據主權作為Web2與Web3最為明顯的分界線之一，是為Web3創新與進步所吶喊的旗幟。就此，Ceramic設想了一個數據宇宙，一個可組合的、網絡級規模的數據生態系統，由每個人擁有，但不被任何人獨有。用戶數據跟隨用戶從一個應用到另一個應用，用戶作為中心控制自己的數字宇宙。目前，幾乎還沒有應用可以實現這一點，Cyberconnect作出了很好的嘗試，它創造了一個去中心化社交圖譜協議，希望在應用間實現用戶社交關系數據的可互操作性。但目前來講，該應用并沒有保證用戶的數據主權，盡管他們已經開始轉移到Ceramic之上進行建設，但一切仍然還在路上。

關于應用主權，有人把主權應用稱為“超級結構”，它擁有不可停止、免費、有價值、可擴展、無許可、正外部性和可信中立等特征，這些綜合起來提供了一個數字世界的公共產品，打造了“元宇宙”的基礎設施。目前絕大多數所謂Web3的應用其應用主權程度都不高，它們不是真正的公共產品，它們可以很容易被強權制裁與改變，TornadoCash事件非常直接地說明了這個問題。主要原因之一是因為雖然這些應用協議層的合約代碼都發布在區塊鏈上，但如前端、域名等組件仍然由第三方中心化的實體所控制。

Bzone獲中科國興集團戰略投資:8月20日，中科國興集團宣布戰略投資首款區塊鏈+LBS場景社交產品—Bzone，Bzone是一款為區塊鏈行業從業者量身打造的新一代社交工具，該產品集區塊鏈行業社交、紅包社交引流、新媒體、社群管理、項目營銷及推廣等功能于一體。未來Bzone將布局“Bzone+”區塊鏈全產業鏈，構建一個開放、公平、互信的區塊鏈流量價值生態。[2020/8/20]

為了實現數據主權和應用主權，Web3應用的構建方式至關重要，其基礎出發點就是存儲，數據存在哪里，怎么存才能保證用戶能夠擁有主權？總的來說，根據用戶的數據類型不同，可以有不同的解決方案：

用戶的資產信息、交易數據應為公共賬本數據，存在鏈上保證可驗證性是最重要的，但Aztec這樣的應用出現用來保障用戶鏈上交易的隱私性是非常有價值的；

用戶的用戶信息、內容數據和行為數據作為個人信息，保證用戶的控制權非常重要，在用戶的同意之下，可以選擇性對這些數據進行公開，作為公共產品以發掘正外部性；

日志數據和代碼數據作為法人數據，私有化是可以接受的，也有一定的必要性，但涉及到“超級建筑”類的Web3基礎設施類應用，它應當具有公共基礎設施的特性，應用代碼的存儲應當公開且具備超過平臺級的抗審查能力；

目前，大多數Web3應用采用「將智能合約邏輯存在區塊鏈上，其他存在傳統后端上」的原因是目前沒有足夠好用的去中心化基礎設施可以替代原本的中心化基礎設施方案。

首先，IPFS、Filecoin與Arweave等去中心化存儲都是靜態存儲，這使得其缺乏計算和狀態管理能力，無法實現更高級的類似數據庫的功能，而雖然Ceramic是動態存儲，一定程度解決了這些問題，但Ceramic目前的訪問速度仍然較為緩慢，且開發套件不夠完善，并且其去中心化程度也一直為人詬病。

IPFS、Filecoin與Arweave等去中心化存儲的主要作用是靜態存儲了如圖片、文檔和靜態代碼等文件非結構化數據，因為其難以被篡改的特性一定程度上的保障了如NFT之類的數字主權，鏈上哈希代碼與鏈下去中心化存儲地址之間的聯系一旦建立，就很難被外力以非常的手段影響。而前端代碼搭建在上面也促進了應用主權的完整性，但由于目前階段的存儲技術僅僅是存儲而已，計算能力的缺乏導致其功能支持遠遠落后于中心化的服務器方案。

目前市面上的主流去中心化存儲情況如下表所示，本表格參考「Web3去中心化存儲進化史」總結更新，

數據來源：CoinmarketCap

時間：2022年8月23日

目前來說，大多數的存儲方案只是實現了一個「去中心化硬盤」，這滿足了最基本的需求，更高級一些的如基于存儲的計算需求并未完全滿足，這些計算包括本地開發環境渲染、數據流的插入與提取等等，這些都是目前Web2應用最常用和最必要的功能模塊。Ceramic基于數據流存儲的創新使得數據的權限管理、版本控制、動態存儲和可組合性得以實現，Stratos則正在嘗試提供一個更完善的、全套的解決方案，包括數據庫存儲、靜態存儲、計算和共識等多個模塊。此外，Arweave和Filecoin也意識到了計算的重要性，正在自己或者鼓勵生態建設相關模塊，如Filecoin已經推出了FVM以支持在Filecoin上的計算。

動態 | 區塊鏈服務解決方案公司Horizon獲得500萬美元A輪融資:區塊鏈服務解決方案公司Horizon獲得500萬美元A輪融資，以進一步開發并擴展其專有的全棧數字證券發行、合規性以及二級交易技術的運營，并向全球經許可、受監管的金融機構銷售。[2019/12/3]

2.1數據的管理

將Web3應用建立在去中心化存儲之上，使得他們更加不容易被外力干擾，打破了壟斷與強權。但僅僅是存儲還不夠，還需要存儲環境的渲染計算、數據處理、權限配置和隱私保護等等技術的支持，才能夠保證應用的主權、用戶的數據主權，從而實現數字世界個人主權的崛起。尤其是權限控制和隱私保護問題，它們應該用一個高級別的主權技術方案實現。Web2應用中這些級別數據都是按照不同的安全防護級別，保存在某些具體的中心化服務器上，其安全性由網絡安全保障，其主權性由平臺保障。這種數據管理模式下，用戶服從于超級管理員，對于數據本身，用戶沒有任何權利。此外，數據安全也受制于超級管理員這一中心化實體，如前段時間某地區的數據泄露事件，一個超級管理員將其私鑰泄露，使得上億人的個人私密信息泄露。

Web3的數據管理應當具有以下兩大特性：

數據主權保障。這應該是超越平臺級的甚至是世界級的，通過世界級的共識保障數字世界用戶共同的權力。傳統世界這方面的保障是平臺級的，而且規則來自于非共識，一家平臺級公司就可以掌控所有的規則制度，并隨時可以更改，從而隨時可以侵犯用戶個人主權；

數據隱私保障。通過密碼學從數學上對用戶數據隱私安全進行保障，而不是通過數據庫網絡安全的方式進行保護，用戶控制的選擇性加密是用戶數據主權的基本權利之一；

如何對Web3數據進行管理，取決于該數據是如何存儲的。

IPFS和Filecoin以內容為中心，通過ContentID來訪問存儲的內容，在此基礎之上通過搭建第三方應用進行數據管理，如通過ChainSafeFiles，可以本地化方式解決單點登錄問題后，可以方便地通過非對稱加密對數據進行加密存儲。以內容為中心的管理模式，使得用戶管理變得困難，如何給數據定所有權變得較為復雜。Filecoin除了提供存儲之外，它的生態的拓展性會比其他的底層來說要高得多。特別是接下來FVM推出之后，可能會有一些針對數據存儲數據檢索方面的一些垂直領域推出特色的工具，能幫助用戶幫助企業更好地去管理它的一些數據，保證數據的安全，然后開發很多的一些新的應用。

Ceramic也是基于IPFS，但以用戶為中心，基于IDXProtocol，3IDDID方法構建了Ceramic-native的賬戶體系，可用于對Ceramic進行身份驗證，用戶可以使用區塊鏈錢包控制3IDDID在數據流上執行交易并管理自己的數據。這是通過將DID與數據關聯后存儲進數據模型實現的，數據模型定義了用戶數據的格式，只要使用同一個數據模型的應用都共享該數據格式。

動態 | amazon.eth 成最貴以太坊短域名中標價 100 ETH:以太坊域名服務（ENS）在 9 月 1 日至 11 月 5 日在數字化收藏品交易平臺 OpenSea 上進行 3 至 6 位的.eth短域名拍賣活動，最終有 7670 個短域名被出價，競標超過 5 萬次，中標總金額為 5698.97 ETH。除了中標金額之外，所有 ENS 的域名都需要付出年費，3 位短域名的年費為 640 美元，4 位短域名的年費為 160 美元，其他域名的年費為 5 美元。其中中標價最高的域名為 amazon.eth，中標價格為 100 ETH，之后分別是 wallet.eth、google.eth 和 apple.eth。去中心化自治（DAO）項目 Aragon 宣布獲得 dao.eth 域名。[2019/11/8]

Arweave是一個一次付費、永久存儲的鏈上數據去中心化存儲項目，數據公開透明地存儲在鏈上，任何人都可以訪問，通過Arweave區塊鏈瀏覽器可以瀏覽存在鏈上的數據。這種模式下的數據管理與管理鏈上數據一模一樣，沒有訪問權限控制，以及對原來數據的“熱更新”，每次更新數據，其索引地址都會發生變化，這一點IPFS和Filecoin不存在問題，但其好處是數據歸屬于哪一位用戶非常明確，有利于對于數據權益進行回溯。

Stratos也是基于區塊鏈共識的存儲，會專門維護一個索引樹，記錄數據存儲的路徑，從而保持對數據更新的追蹤。與Arweave不同的是，Stratos每一個存儲節點被設計成同時擁有計算能力、存儲和內容訪問控制服務，項目方自己會搭建基于區塊鏈本身的數據庫用于數據的動態吞吐，其形態和管理模式接近于去中心化云計算機。

2.2趨勢：去中心化數據市場

在用戶擁有數據所有權的情況下，數據市場是一個必然趨勢，數據作為資本要素在其中流通。在Filecoin上就曾經有過數據市場的嘗試，Fivehive由去中心化應用開發工作室OB1搭建并維護，是一個開源市場，支持數據集的上傳、維護、購買和轉讓。該項目Github已經在兩年前就停止了更新和維護，大概率是失敗了。

Ceramic的數據模型市場

Ceramic在其數據宇宙中提到了他們要打造的開放數據模型市場，因為數據需要互操作性，它能夠極大地促進生產力的提升。這樣的數據模式市場是通過對數據模型的緊急共識實現的，就類似于以太坊中的ETC合約標準，開發人員可以從中選擇作為功能模板，從而擁有一個符合該數據模型的所有數據的應用程序。目前來說，這樣的市場并不是一個交易市場。

關于數據模型，一個簡單的例子是，在去中心化社交網絡當中，數據模型可以簡化為4個參數，分別是：

PostList：存儲用戶帖子的索引

Post：存儲單個帖子

Profile：存儲用戶的資料

FollowList：存儲用戶的關注列表

那么數據模型如何在Ceramic上進行創建、共享和重用，從而實現跨應用程序數據互操作性呢？

Ceramic提供了一個數據模型注冊表，這是一個開源的、社區共建的、用于Ceramic的可重用應用程序數據模型的存儲庫。在這里，開發人員可以在其中公開注冊、發現和重用現有數據模型-這是構建在共享數據模型上的客戶操作應用程序的基礎。目前，它基于Github存儲，未來它將分散在Ceramic上。

添加到注冊表的所有數據模型都會自動發布到@datamodels的npm插件包下面。任何開發人員都可以使用@datamodels/model-name安裝一個或多個數據模型，使這些模型可用于在運行時使用任何IDX客戶端存儲或檢索數據，包括DIDDataStore或Self.ID。

此外，Ceramic還基于Github搭建了一個DataModels論壇，數據模型注冊表中的每個模型在該論壇上都有自己的討論線程，社區可以通過它來評論和討論。同時，這里還可以供開發人員發布關于數據模型的想法，從而在將其添加到注冊表之前征求社區的意見。目前一切都在早期階段，注冊表中的數據模型并不多，收納進入注冊表中的數據模型應當通過社區的評定成為CIP標準，就像以太坊的智能合約標準一樣，這為數據提供了可組合性。

Ocean的數據交易市場

OceanProtocol以數據交易市場為核心，建立了一個去中心化的數據服務供應鏈網絡。下圖顯示了創建數據服務供應鏈所需的主要服務，提供數據、算法、計算、存儲、分析和策劃。這些組件與服務執行協議、安全計算、訪問控制和許可綁定在一起。

圖片來源：OceanProtocol

主要的參與角色為數據使用者、服務提供者、市場、服務發布者、驗證者和策展人。Ocean提供了全套數據科學工具，數據使用者可以在Ocean上建立數據服務管道以自動化運行數據算法從而對數據進行加工處理以及價值發現。在這個過程中，數據使用者無法下載全部數據集以及看到全部數據集，因此保護了數據集不被盜取，使用者購買的是數據集的使用權，而非擁有該數據集。

來源：OceanProtocol

除此之外，Ocean還和其他機構合作建立數據市場，如它與梅賽德斯-奔馳的去中心化數據市場(https://acentrik.io/)在其最近推出的EnterpriseRelease中聯手。AcentrikMarketplace由OceanONDAV4智能合約和庫驅動，可以發布數據服務、部署和鑄造數據代幣和Acentrik資產管理代幣，并通過花費來消費數據服務。

3.1數據的使用與堆棧

基于以上內容的理解，我們提出了Web3數據堆棧，見下圖，

最底層是數據源所存儲的地方，包括去中心化存儲、鏈上和鏈下數據等；

其次是針對這些數據的管理應用，包括數據庫、數據表、索引中間件以及數據市場等；

在一定的數據管理范式下，能夠對數據進行挖掘，包括算法建模、統計分析和數據可視化等；

Web3數據堆棧圖片來源：ZonffPartners

目前行業內關于Web3的數據使用，絕大多數是鏈上數據，層出不窮的數據分析工具與索引工具出現，鏈上數據這個巨大的金礦已經被充分地挖掘，上圖的數據表和分析應用分類中絕大多數都是鏈上數據的挖掘，只有少部分涉及到鏈下數據。總的來說，數據的使用鏈路是一個ETLA的過程，每個節點上都具有代表性的項目。提取項目的代表是TheGraph，而轉換成可用數據表和加載環節的項目代表是Dune和Luabsae，分析的代表是Nansen和NFTGO。

而在去中心化存儲上ETLA整個流程的支持項目幾乎還是荒漠，只有一些提取類項目，這里存在巨大的機遇和挑戰。TheGraph和Ceramic社區本身正致力于提取Ceramic上的數據，Orbis的創始人也嘗試做了一個Cerscan用于瀏覽Ceramic上的數據。Arweave已經可以通過TheGraph用子圖讀取和管理Arweave存儲的數據，Filecoin上也有相關第三方項目在做這件事情。但TLA的過程目前還無人問津，其中最大的原因是存儲在不同去中心化存儲上的數據異質性很高，很難有一個統一的模式去挖掘這些數據的價值，其中最有希望踏出這一步的是Ceramic，這是因為其數據模型的存在使得Ceramic上數據的異質性指數級降低，從而使得數據的可利用性變得更高。

除了鏈上數據以外，還有很多項目在嘗試將鏈上數據與鏈下數據進行打通，這類項目可以看作為“鏈改”型項目。

類型分類有：

Web2數據主權賦予與交易市場：Itheum、Navigate、Swash和Phyllo等。這類項目主要是將傳統互聯網數據與鏈上數據相結合，希望把Web2與Web3之間的信息交互打通，常見做法是將Web2數據導出再導入指定數據池或者直接綁定傳統互聯網社交賬號等等；

企業數據共識：Authtrail，該項目通過與企業內部數據庫進行整合，加入共識層從而做到企業內數據的防篡改與可追蹤等；

鏈上與鏈下數據組合：SpaceandTime，該項目和Authtrail一樣會做鏈下數據庫的整合，但無共識層，更多是鏈下與鏈上數據的共同計算，此外Pool也在做類似的事情；

Web3數據的使用范式和Web2存在明顯的不同，其主要在于數據聚集在一起的方式，即不同類型的數據其存儲、索引、提取、整合和利用的方式都會存在差別。根據前文的分類，這里做一些簡單的總結：

公開數據：包括《網絡安全標準實踐指南-數據分類分級指引》分類中的公共數據和部分法人數據。作為公共產品，是可以被公開挖掘價值的數據，接入無需許可，但可以追溯用戶所有權，從而追溯空投分潤，典型的例子是鏈上數據和存儲在去中心化存儲上的非加密應用數據。其使用最重要的上游支持是索引應用，如TheGraph，或Web3原生數據庫的應用，如Tableland。

私密數據：包括《網絡安全標準實踐指南-數據分類分級指引》分類中的個人信息和部分法人數據。作為需要加密存儲，且需要一定隱私權限配置的數據類型，其接入有許可，不可被公開獲取，若存儲在去中心化存儲和區塊鏈上，則需要可權限配置的加密存儲。或通過其他手段，如ZK、MPC和TEE等隱私技術手段保護。其使用最重要的上游支持是數據庫應用，如Kwil和Ceramic等。

Tags：WEBWEB3區塊鏈CERWEB4幣web3游戲賺錢有人靠區塊鏈4天就掙了30萬嗎DEFILANCER價格

火必APP