區塊鏈數據如何歸檔？冷熱分離方案了解一下_區塊鏈

——Part1?現狀——

區塊鏈可以視作一個在分布式環境下眾多可信節點共同維護的且不可篡改的賬本。在區塊鏈系統中，數據以區塊作為基本單位，區塊鏈系統利用levelDB基于Key-Value結構的數據庫存取數據，通過多節點冗余存儲實現賬本可信，然而隨著區塊鏈運行時間的增長，區塊鏈的存儲容量將呈線性增長，且這種數據的增長速度甚至會超過存儲介質容量增長的速度，因此，區塊鏈數據存儲將成為限制區塊鏈技術發展的重要因素。

面對這一棘手的問題，數據歸檔技術應運而生，什么是數據歸檔呢？

——Part2?什么是數據歸檔——

數據備份的概念大家應該是比較了解的，隨著數字化的推進，企業對數據的敏感度逐漸增強，數據備份系統已經成為各大中型企業的必備系統。然而正如我們對數據歸檔認知的不足，企業對于數據歸檔的使用也不如數據備份廣泛。

備份的目的是為了恢復，保證在系統出現意外情況時業務的連續進展。對于企業來說，每天產生的大量數據，其實絕大部分的使用率很低，但是，出于一些特殊原因，這些數據卻必須保留以備查詢。簡言之，歸檔的目的是為了服務品質和保證數據的可管理，使得運行、維護、投入整體的成本降低，如何最大化使用存儲，保證數據的訪問。數據歸檔，即數據的使用。然而如何規范的歸檔數據呢？我們就得具備相應的歸檔原則。

“八一勛章”獲得者王剛：反復思考推動區塊鏈等前沿科技在訓練領域廣泛應用:8月3日消息，中國人民解放軍建軍90周年前夕，中共中央總書記、國家主席、中央軍委主席習近平為武警新疆總隊某支隊支隊長王剛佩掛上“八一勛章”，這是由中央軍委決定、中央軍委主席簽發證書并頒授的軍隊最高榮譽。作為全國人大代表，王剛赴京參會前認真梳理過去一年的工作，并在此基礎上，反復思考如何推動虛擬現實、大數據、區塊鏈等前沿科技在訓練領域廣泛應用。（人民網）[2021/8/3 1:31:30]

數據存儲：無論是備份還是歸檔，數據的完整性必須得到保證，且需在規定時間內保證數據的安全存儲。保證數據的完整性、時效性及存儲的安全性。

數據易讀取：雖然大部分數據重復讀取可能性低，但歸檔系統依舊不是一個備份系統，必須保證在需要的時候能方便地讀取數據。保證系統數據的可讀性。

數據可擴展：由于存在不同種類的數據，且數據也是實時變化且增長迅猛，因此為滿足企業需求，還應具備可擴展的要求。

動態 | 深圳黨組會議：積極擁抱區塊鏈等新興技術，為經濟高質量發展注入新動力:12月6日下午，深圳市政府召開黨組（擴大）會議，學習貫徹落實習近平總書記在中央局第十八次集體學習時的重要講話精神，研究全市政府系統具體貫徹落實意見。市政府黨組書記、市長陳如桂主持會議。

會議強調，各區各部門要深刻認識加快發展區塊鏈的重大意義，積極擁抱區塊鏈這一新興技術，努力用好技術革新和產業變革帶來的新機遇，把發展區塊鏈作為一項基礎性、引領性的戰略工程，不斷提高運用和管理區塊鏈技術能力，為經濟高質量發展注入新的動力活力。要加強區塊鏈基礎研究和關鍵技術攻關，提升原始創新能力，搶占技術發展制高點。要加快推進區塊鏈技術應用及產業發展，抓緊制定區塊鏈產業發展行動計劃，探索區塊鏈技術在智慧城市等領域的應用示范。要加強區塊鏈應用監督管理，推動區塊鏈安全有序發展。（深圳特區報）[2019/12/7]

數據合法：任何的企業系統運作都應該遵守各項規章制度，要遵守政府和行業指定的各項法律、法規及各種規章。

聲音 | 黃曉慶：區塊鏈等技術會促使出現產生巨大效益的互聯網公司:據經濟觀察網報道，在3月31日的2019中國IT領袖峰會上，面對主持人“5G時代創業者有沒有可能顛覆BAT”的問題，前移動研究院院長黃曉慶認為，未來還會有很多新技術，比如把集中化變成分布式的區塊鏈技術，這樣就會出現不需要基礎設施就產生很大效益的互聯網公司，在5G時代下，這些創業公司有很大機會可能顛覆BAT。[2019/4/1]

——Part3實現難點——

正如大家所知，區塊鏈存在數據單向增長的特性，這樣數據量的增多會導致系統磁盤空間占用率高，所以需要研發區塊鏈專用數據歸檔技術，將數據進行“冷熱分離”，保障系統的高效可靠運轉；

另外，因為區塊鏈是一個在分布式環境下眾多可信節點共同維護的且不可篡改的賬本，所以傳統的數據歸檔技術無法解決多個節點數據歸檔某一范圍數據而賬本狀態保持一致性的問題，在實際情況中還存在區塊鏈上單一節點數據歸檔導致的多節點數據同步時賬本狀態一致性的問題。

動態 | 富達投資區塊鏈研究負責人加入區塊鏈初創公司Bloq:據coindesk消息，今天，區塊鏈軟件初創公司Bloq任命原富達投資(Fidelity Investments)區塊鏈研發部門的負責人哈德利?斯特恩(Hadley Stern)為其COO。斯特恩在富達工作了17年，最近三年擔任富達實驗室區塊鏈孵化器的高級副總裁和常務董事。[2018/10/23]

總結：

1.區塊鏈存在數據單向增長，需要進行冷熱分離存儲；

2.分布式環境下，難以保證所有節點實時進行數據歸檔且保證數據狀態的一致性；

3.單一節點數據歸檔導致多節點數據同步時狀態一致性難以保證。

——Part4?數據歸檔的架構解讀——

了解了數據歸檔的基本概念，那么，在區塊鏈中它是如何運作的呢？數據歸檔功能的主要職責是將一部分舊的線上數據移到線下轉存。對此，趣鏈科技提出了區塊鏈數據歸檔的方法，使得整個區塊鏈系統能在不停機情況下，將區塊鏈數據劃分為鏈上、鏈下兩部分，熱數據仍保留在鏈上，但冷數據可以存儲在低成本的硬件設備上，進行動態的數據歸檔。而且，通過數據調度層，可以很好地實現熱數據和冷數據的靈活訪問，熱數據直接通過平臺訪問，冷數據則通過歸檔數據瀏覽技術瀏覽。另外，每個節點可以自主、多次地對數據進行歸檔，從而使得系統的鏈上數據量維持在一個穩定水平，有效釋放磁盤空間。

動態 | 澳大利亞使用區塊鏈技術追蹤蜂蜜:一家名為“安全問題”的以色列公司為澳大利亞的蜂蜜丑聞開發了一種解決方案，該方案采用了區塊鏈技術和一種能夠在分子水平上追蹤蜂蜜的創新解決方案。這種標記可以被描述為一種不可變的隱藏的分子條碼。由于條形碼不能以任何方式刪除或編輯，因此它在供應鏈中提供了高度的信任，無論哪種產品持有標識。安全事項將在區塊鏈中記錄所有細節。這將確保蜂蜜供應鏈中的每一步都是可見和可追蹤的。安全事務首席執行官哈凱·阿龍解釋說:“當產品到達終端客戶時，鏈條上的每一部分都會被標記和驗證。每個參與者都將承擔造全部責任。”[2018/9/25]

為更形象地講解數據歸檔技術，我們以趣鏈數據歸檔為講解內容進行：

區塊鏈的數據歸檔方式是一種基于狀態備份的歸檔方法。

簡單來說，用戶想要對某一個區塊鏈節點做數據歸檔，必須在過去某一時刻對區塊鏈制作一個狀態快照；

進行數據歸檔時，可以將快照點之前所有的區塊鏈數據進行歸檔轉儲，以實現區塊鏈節點存儲壓力的減負。后續未歸檔第一個區塊的節點成為新鏈的1號區塊。

▲?數據歸檔流程

制作快照：

1.系統獲取最近距離的快照，即比當前要做快照的區塊號小的最大的高度，返回該快照的信息。若沒有任何快照，則以0號區塊數據為基礎新建快照并作為start，其制作的高度為end。

2.快照拷貝以單純的磁盤io拷貝一份第一步獲得的賬本到新文件夾，并作為后續賬本操作的基礎。

3.根據日志數據，遍歷線上，制作到賬本，且同時遍歷區塊的merkleRoot，保證賬本的正確性。

檢查快照：

遍歷snashot數據庫中的狀態數據，重新計算出bucketTree的根哈希，與最新的區塊哈希對比，以保證制作的快照與實際的賬本是否一致。

數據歸檔：

如圖，用戶發起數據歸檔請求，要求將快照點前所有的區塊鏈數據進行轉儲歸檔。該節點將所需轉儲的區塊數據以及相應的交易回執等數據轉儲，且將本地的創世狀態內容更新為之前備份得到的快照狀態。

如果說區塊鏈正常的狀態變遷是狀態終點不停向前更新的過程，那么數據歸檔就是一個區塊鏈狀態起點向終點更新的過程。下面是一個比較典型的相關數據平臺應用案例：

數百家中心數據，存量數據4T，日均10GB，年均3.6T數據上鏈，由于鏈上存儲通常采用SSD硬盤，導致存儲成本高昂。針對此問題，我們采用定期歸檔的方式對鏈上數據進行歸檔，由圖可見，我們采用了分段存儲的方式，平臺可對任意的某段數據進行歸檔操作并保證各節點數據狀態的一致性。保證鏈上數據穩定在1T左右，有效地釋放磁盤空間的同時，極大地降低了成本，增加了系統性能。

上述的數據歸檔主要是針對區塊鏈數據，而部署在區塊鏈上的智能合約，同樣有較大的存儲需求用來記錄龐大的業務數據。針對于這部分數據，趣鏈提供了另外一種歸檔機制，用戶僅需發起一筆帶有特殊標記的交易，調用智能合約中自定義的歸檔函數，即可實現合約數據的轉儲。合約編碼者可以在合約中實現任意邏輯的歸檔函數，以滿足不同的業務需求。

——?Part5總結?——

在本片中較為詳細地講解了數據歸檔技術在區塊鏈中的使用，不僅實現了數據的冷熱分離存儲，保證了單一節點的數據歸檔而保持整個區塊鏈所有節點的賬本狀態的一致性，而且實現了分段存儲的模式，使得數據在任意范圍內被歸檔。

從設計角度來看，數據歸檔后不影響原先鏈上數據的正確性與連續性，而且支持不同節點、不同分區自定義歸檔序列的范圍。

從功能角度來看，數據歸檔主要解決區塊鏈鏈上數據的冗余問題。減少鏈上數據存儲壓力，將過期數據和歷史數據進行線下的存儲，突破鏈上存儲的限制。并且，并發執行數據歸檔過程中的各種操作，提升了歸檔的效率。

從應用場景來看，數據歸檔適用于數據冗余存儲、鏈式遞增、時效有限等情況導致的存儲資源被大量過期數據占用的痛點。對于數據歸檔或者區塊鏈技術有興趣的小伙伴，添加小助加入技術交流群，歡迎您和我們共享觀點，共論區塊鏈的無限未來～

作者簡介

陳少蔚

趣鏈科技基礎平臺部文檔工程師

Tags：區塊鏈ARTPARPART區塊鏈工程專業學什么女生好就業bitmart官網下載Pareto Networkcounterparty

火幣APP下載