Filecoin技術分析：深入理解存儲管理_TOR

Filecoin的存儲單元稱為扇區（Sector）。對傳統硬盤結構理解的小伙伴，對這個術語應該比較親切，傳統硬盤的最小存儲單元就叫Sector。為了證明Sector的存儲，Filecoin進行了一系列的處理，傳說中的P1/P2/C1/C2。在處理過程中，一個Sector的計算會生成若干文件，最終會生成replica。相關文件是如何組織的？Cache都是由哪些文件組成，分別是多大？本文就從存儲的角度看看這些過程和邏輯。

Filecoin的存儲管理的邏輯主要實現在sector-storage項目中。在深入理解Sector存儲邏輯之前，先講講Worker和Manager。

01 相關術語

Worker - 處理P1/P2/C1/C2的服務，Worker又分為兩種：local worker和remote worker。local worker處理本地服務處理，remote worker支持遠程服務處理

Manager - 管理多個Worker

芝商所將于10月31日推出AVAX、FIL和XTZ價格指數:10月10日消息，芝商所將于10月31日推出Avalanche（AVAX）、Filecoin（FIL）和Tezos（XTZ）每日和實時價格指數。《華爾街日報》表示，此舉可能為其將加密貨幣期貨合約產品進行拓展奠定基礎。[2022/10/11 10:30:14]

Scheduler - 調度器，調度多個Worker，一個Manager通常有一個Scheduler

Store - Sector存儲系統

02 Sector存儲

Sector處理相關的文件存儲在Store中。Store通過sectorstore.json進行配置：

CanSeal表明Store可以用來Seal（存儲Seal相關的臨時文件），CanStore表面Store可以持久存儲Seal的結果(replica)。Weight 是權重，在多個Store選擇時使用。ID是Store的UUID編號。

Filecoin借貸平臺DeFIL存幣量達166.9萬枚:Filecoin借貸平臺DeFIL數據顯示，當前平臺FIL存入量為166.9萬枚，資產總值約2億美金，已借出FIL為119萬枚。DeFIL是基于Ethereum的Filecoin去中心化借貸協議，用戶參與存FIL可獲取利息收益以及獲取平臺治理通證DFL，且DFL可繼續進行Staking挖礦。目前DeFIL項目已獲得由IPFS生態基金、分布式資本、FBG資本、以及Gate Labs、ZB Capital等機構的陸續投資。[2021/5/14 22:01:45]

一個Store中存在三種存儲，分別對應三種目錄：unsealed (未封存的文件)，cache（緩存文件），sealed（封存后的文件）。

03 Worker & Store

sector-storage項目的README中的這張圖很好的解釋了sector storage的各個模塊以及相互的關系：

七爺：火幣啟動FIL 狂歡月，已與大半個Filecoin 生態伙伴達成合作:10月15日晚，在 Filecoin 主網即將上線之際，火幣全球站CEO七爺在金色財經直播時表示，Filecoin生態有礦工、投資者和使用者等多種角色，他們在不同場景下需要購買或者出售FIL。火幣將從Filecoin各類用戶的需求出發，成為全球 FIL 流動性最好的交易所，同時也是提供工具最齊全的交易所，打造專業的Filecoin一站式服務平臺。

火幣將第一時間提供 FIL 的現貨交易，逐倉杠桿，ETP杠桿代幣，大宗交易，反向、正向永續合約等全流程交易工具；給礦工和投資者設計最佳的數字資產管理工具，幫助他們進行交易、抵押、借貸等，并將陸續推出面向礦工及礦池的專屬服務、套保工具。

據悉，火幣在今年9月就已上線了存儲板塊。10月15日火幣正式啟動FIL狂歡月。超過100+Filecoin 生態的礦機廠商、生態機構、投資人，已經宣布加入火幣FIL狂歡月，在Filecoin上線前，火幣已經與Filecoin社區大半個生態達成了合作。[2020/10/15]

整幅圖分為上下兩個部分：上部分是Manager，下部分是Remote Worker。Manager中包括一個Local Worker。stores.Index是所有Sector存儲的索引。Scheduler，上部分的中間，管理所有的Worker，并且調度Sector相關的存儲。

Filecoin第一輪太空競賽將于9月15日早上5:59落下帷幕:Filecoin官方在Slack發布消息，表示第一輪太空競賽將于北京時間9月15日早上5:59落下帷幕，但是關于最終排名的計算可能還需要花費幾天時間。

在第一輪太空競賽結束前，官方表示希望能為礦工帶來更好的參與體驗，這些體驗包括：交易機器人將優先派單給交易成功率低于80%的礦工、第一輪太空競賽的排名將選取礦工最高算力等等。

第一輪太空競賽結束后，官方將對交易機器人和競爭機制進行一些升級，交易機器人最早將于北京時間時間9月21日晚20時恢復。

此前，Filecoin官方發布博客，表示將于9月14日到10月5日開啟第二輪太空競賽。[2020/9/14]

worker management APIs通過/rpc/v0的jsonRPC接口實現remote worker的管理。通過/remote的HTTP API實現存儲的Fetch操作，簡單的說，傳輸文件。specs-storage.Prover/Sealer/Storage是Manager暴露出來的接口，實現Sector的證明，封存和存儲。

梁遠升：FIL期貨價格存在一定的泡沫和風險:7月3日，“鏈客Talk”邀請時空云科技聯合創始人梁遠升作客鏈客直播間，梁遠升指出：面對市場上五花八門的IPFS礦機，要注意避免踩坑：首先要選擇頭部礦機廠商，尤其是節點容量達到PB規模以上的節點；其次，從硬件配置上，規避PC級的礦機，它只適合短期挖礦，不適合長期運行。他還提及了FIL的期貨價格：目前，期貨價格一定上是反映了市場的情緒，但也存在一定的泡沫和風險。一方面，目前市場上打著IPFS旗號賣礦機的公司非常多，但是有真正技術實力的公司卻不多，未來肯定會存在礦機廠商的兌付風險；另一方面，一些交易平臺以及算力平臺最近也陸續推出基于Filecoin的衍生品，由于目前市場上還沒有Filecoin現貨，所以大家在投資這些衍生品交易的時候要注意風險，選擇靠譜的平臺。（鏈客Talk）[2020/7/8]

每個連接到Manager的Worker會和Manager同步它的內存/CPU以及顯存的信息。Scheduler在接受到新的請求時，會針對請求(Task)的類型以及資源的需求，從當前Worker中挑選最合適的Worker進行請求的處理。如何選擇Worker，感興趣的小伙伴，可以查看selector的相關邏輯。

從存儲的角度，重新整理一下，這些關系：

以一個Manager連接兩個Worker為例。Worker只能Seal，但是不能Store。為了更清楚展示Worker之間的數據傳輸，第一個Worker只做Precommit1，第二個Worker做Precommit2和Commit。

04 Seal Task

理解Seal Task，最好對照了Sector的狀態管理一起看。對Sector狀態管理還不熟悉的小伙伴，可以查看之前的文章：

Filecoin - Sector狀態管理邏輯

接下來，看看每個Seal Task對應的存儲數據的變化。

如果其中左邊的Worker接收到任務，AddPiece任務會在unsealed目錄中創建原始數據。

PreCommit1階段，簡稱P1，針對SDR算法，計算若干層數據。如果Sector是32G，需要計算11層。對SDR算法不熟悉的小伙伴，可以看看之前的文章：

經過PreCommit1，生成的數據存儲在Cache中：

PreCommit2

PreCommit2的階段，簡稱P2，生成Replica，計算Column Hash，并生成Merkle樹(tree_d, tree_c, tree_r_last)。因為P2，不在同一個Worker處理，在進行處理之前，需要先傳輸給合適的Worker，處理的結果同樣存儲在Cache中：

在Commit生成證明后，進入Finalize狀態，Finalize可以理解成“歸檔”。因為在Worker上沒有Store能力，刪除不需要持久化的數據，需要持久化存儲的數據，將傳輸回Manager。

05 數據存儲量

以32G的Sector為例，在處理過程中需要存儲的數據如下：

原始數據 - 32G

原始數據Merkle - 32G

P1 layer - 32*11G

P2 - Column Hash  & tree_c - 32*2 G

P2 - Replica & tree_r_last - 32G + 9.2M*8

總共：512G多一點。

06 持久化數據

Sector經過P1/P2/C1/C2處理后，也就是說，經過PoREP處理后，需要持久化存儲Replica的數據和tree_r_last的數據。tree_r_last的數據需要存儲的原因是PoSt要用到。特別注意的是，tree_r_last的數據并不是完整的Merkle樹數據，刪除了其中一些層的數據。

32G的Sector，對應的tree_r_last分成了8棵子樹，每棵子樹是8叉樹，默認存儲的時候，忽略了最低的兩層。也就是，去除最低兩層的存儲量為：

所以每棵子樹的存儲數據為4G*0.00223 = 9.13M。

也就是說，Sector持久化存儲比例在1.0022左右。

總結：

Filecoin存儲管理的邏輯主要在sector-storage中。Sector的處理任務，可以通過多個Worker完成。每個Worker的存儲目錄結構一致，Sector數據可以在多個Worker之間通過Http服務傳輸。Sector處理過程中，最大的存儲需求量在512G左右。持久化存儲比例為1.0022。

Tags：TORFILORKWORCryptoMotorsfil幣價格今日行情FilAutobahn NetworkSpock Network

比特幣交易所