KlaytnStateTrieCacheSeries#1:?確認產生Cache問題的原因
Klaytn為了提高區塊鏈平臺的性能,做了許多方面的努力。我們將通過下列文章介紹statetriecache性能改善過程。
??確認Cache問題的原因
??尋找最佳的Cache
??計算Statetriecachemiss
??進行?CacheSizeTuning
本篇將介紹進行Klaytn有關測試時出現的問題以及這些問題的來源-Go語言GC(GarbageCollector)。在進行Klaytn有關測試時,出現了下列問題。
<imgalt=""class="tuvhyaj-kjct"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>
2023年一季度加密貨幣公司并購數量創歷史新高:金色財經報道,根據咨詢公司Architect Partners的一份報告,2023年前三個月,加密貨幣公司并購的數量創下季度歷史新高,因為該領域公司之間的交易有所增加。本季度的交易總數達到54筆,高于前兩個季度各50筆并購交易。盡管交易數量有所增加,但交易價值(約4億美元)與2022年第一季度相比大幅下降,當時有50筆交易,價值約16億美元。[2023/4/19 14:13:46]
利用Prometheus提供的API測試內存使用量
在Klaytnbinary中,以3500TPS處理transaction時,大約需要用到100G的內存。我們為了確認具體是哪里在消耗大量內存,利用Go語言所提供的內存分析工具,進行了確認。
??gotoolpprofcn-mem0.prof
File:kcn
BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f
Type:inuse_space
Time:Mar26,2020at8:56am(KST)
Enteringinteractivemode(type"help"forcommands,"o"foroptions)
(pprof)top
Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal
Stronghold Digital Mining去年四季度產出447枚比特幣:金色財經報道,比特幣礦企 Stronghold Digital Mining 公布 2022 年第四季度財務報告。報告顯示,2022 年第四季度收入為 2340 萬美元,凈虧損為 4740 萬美元。截至 2023 年 3 月 28 日,流動資金約為 880 萬美元,包括 770 萬美元現金和 39 枚比特幣,同期債務為 5980 萬美元。[2023/3/29 13:33:30]
Dropped382nodes(cum<=0.22GB)
Showingtop10nodesoutof77
?flatflat%sum%cumcum%
?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue
?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set
?1.53GB3.52%85.47%1.53GB3.52%reflect.New
?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt
通過內存分析工具,我們可以看到每個部分所消耗的內存。在上述結果中,可以通過?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB,還可以看到其中的96.33%,即41.91GB具體用在哪里。不僅如此,通過30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue,可以看到有30GB(68.97%)用于bigcache上。
幣安首席戰略官:中心化交易所可能在10年內不復存在,第三方審計需要時間:12月2日消息,幣安首席戰略官Patrick Hillman表示,該公司的中心化交易所可能在10年內不復存在,因為加密貨幣市場正在向去中心化金融(DeFi)方向發展。在談到幣安的儲備證明問題時,Patrick Hillman解釋道,“這將是一個多步驟的過程,包括引入第三方審計師,需要時間才能對幣安所需的審計范圍和規模進行處理” 。
盡管沒有透露公司賬戶中具體持有多少資金,但Patrick Hillman表示幣安對儲備金“充滿信心”。(Coindesk)[2022/12/2 21:17:48]
??
這兩個測試結果中,我們發現了問題。根據Prometheus所提供的內存使用library,kcn大約占了100GB,但內存分析結果(43.50GBtotal)表明,kcnbinary只占了?43.5GB。我們無法確認其余56.5GB(=100GB-43.5GB)的內存去了哪里。?
于是我們猜測應該是Bigcache占據了大部分內存。為了確認Bigcache是否占據了內存,我們在相同環境的2臺服務器上設置了不同的cachesize進行測試,設置分別為30GB和0GB。2臺服務器的top和內存分析結果如下。
(Top命令結果是GiB,Prometheus所提供的library的結果是GB,兩者為相同的量)
Cypresssynctest
AWSInstance:m5.8xlarge
菲律賓電信公司CEO:菲律賓具備成為“亞洲區塊鏈之都”的條件:金色財經報道,菲律賓電信公司Dito CME首席執行官Donald Lim表示,菲律賓具備成為“亞洲區塊鏈之都”的條件。據悉,目前約有430萬的菲律賓人擁有加密資產,占該國總人口的4%。根據Lim的說法,菲律賓擁有成為區塊鏈中心的數字。“我們1.1億人口的年齡中位數是25歲。在數字人口中,我們的互聯網和NFT普及率也是最高的。”
據悉,根據2021年的一項研究,菲律賓是加密貨幣采用率最高的國家之一。這個亞洲國家的加密貨幣采用率在全球排名第三。(bitcoinist)[2022/9/8 13:16:57]
memorysize:128G
cachesize:30G,0G
<imgalt=""class="tuvhyaj-kjct"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>
BitPay與電商Best Buy合作使其電商平臺支持使用加密貨幣支付:金色財經報道,加密支付處理平臺BitPay與美國電商Best Buy合作使其電商平臺支持使用加密貨幣支付。[2022/8/21 12:38:11]
<imgalt=""class="tuvhyaj-kjct"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>
top命令結果(左:cache30G;右:cache0GB)
<imgalt=""class="tuvhyaj-kjct"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>
<imgalt=""class="tuvhyaj-kjct"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>
GoMemoryProfiling結果(左:cache30G;右:cache0GB)
我們可以看到,被分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為70GB和35GB,有35GB的內存追蹤不到。而沒有分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為5GB和2GB,有3GB的內存追蹤不到。?
通過以上測試,我們可以推斷,若使用Bigcache,會占用大于分配額的內存。而就算不使用Bigcache,也會出現3GB左右的遺漏。當然,GC(GarbageCollector)的運作,可能令不管使用什么樣的Go程序都有機會出現內存分析結果和實際使用量的誤差。
而且,我們通過這篇文章可以得知,長時間占據大量的heap內存,并在分配時使用pointer的話,會消耗非常大的內存。
<imgalt=""class="tuvhyaj-kjct"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>
GC(GarbageCollector)可尋找程序動態分配的內存中不再運作的部分,收回該部分的內存并分配給其他區域。為此,Go語言的GC(GarbageCollector)會對沒有運作的區域進行確認,看是否被分配了內存。這時,用于確認的標志就是pointer,如果某個區域有很多pointer或占據了大量內存,GC在搜查過程中會消耗較大內存。
話句話說,在運行GC(GarbageCollector)之前,內存使用量為44GB,一旦開始運行,內存使用量就會增加100GB。再加上進行內存分析的時間剛好在GC完成運轉后,所以只看到了運轉前的內存使用量,即44GB。由于Klaytn分配的Bigcache量很大,所以GC一直在消耗更多的內存。
這類情況會導致系統突然出現內存不足的情況。因為Klaytn需要長時間運轉,必須避免由于占用過多內存導致系統突然崩潰的情況。在下一篇文章內,我們將會介紹解決該內存遺漏問題的過程。
關于Klaytn
項目名稱:Klaytn
英文縮寫:KLAY
官方網站:https://www.klaytn.com/??
項目簡介:Klaytn是以服務為中心的企業級分布式信任區塊鏈平臺,通過高效的“混合”設計,結合了公有鏈和私有鏈的最優功能。Klaytn與全球眾多知名品牌的參與合作,通過共同的不懈努力,創建可靠的去中心化業務平臺。Klaytn治理委員會是一個由跨國企業和組織組成的聯盟,負責運營共識節點網絡,推動生態系統發展。Kakao的區塊鏈開發部門「GroundX」已正式推出Klaytn,并可用于商業用途。
來源:金色財經
Tags:COMCHEACHCACNew Community LunaLift.Kitchen ETHPEACH價格CAC價格
知足之人,雖臥地方,猶為安樂。不知足者,雖處天堂,亦不稱意。人性本身導致了跌市的恐慌和升市的貪婪.
1900/1/1 0:00:00近日,第一屆長三角金融科技創新與應用全球大賽總決賽在上海舉行。此次大賽旨在加速金融科技創新在行業應用和管理場景下的落地,助推上海國際金融中心和科技創新中心建設.
1900/1/1 0:00:00一、虛擬貨幣 虛擬貨幣是指未打印在紙上或印在金屬上的任何貨幣,所以它是虛擬的,只存在于虛擬世界中.
1900/1/1 0:00:00ETH行情分析: ??????以太多頭強勢歸來,我們先從小時級別來看一下今日走勢,凌晨以太1時觸底1210一線反彈,經過短期的震蕩調整,一路震蕩上漲突破1300一線關口.
1900/1/1 0:00:00?根據區塊鏈可編程的特點,人們可以將合同變成代碼的形式放到區塊鏈上,并在約定的條件下自動執行,這就是所謂的智能合約.
1900/1/1 0:00:00Filecoin最終理想2008年,中本聰發布了比特幣白皮書。其使用SHA-256內容可尋址的交易存儲方式,并將其作為工作量證明共識方案的一部分,以克服在互聯網上構建分布式賬本的主要障礙.
1900/1/1 0:00:00