CHE:Tech at Klaytn技術系列：確認產生Cache問題的原因

KlaytnStateTrieCacheSeries#1:?確認產生Cache問題的原因

Klaytn為了提高區塊鏈平臺的性能，做了許多方面的努力。我們將通過下列文章介紹statetriecache性能改善過程。

??確認Cache問題的原因

??尋找最佳的Cache

??計算Statetriecachemiss

??進行?CacheSizeTuning

本篇將介紹進行Klaytn有關測試時出現的問題以及這些問題的來源-Go語言GC(GarbageCollector)。在進行Klaytn有關測試時，出現了下列問題。

<imgalt=""class="tuvhyaj-irjw"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>

七國集團部長同意對人工智能采取“基于風險”的監管:金色財經報道，七國集團（G7）數字與技術部長會議的參會者4月30日同意對人工智能采取“基于風險”的監管。但七國集團部長同時表示，此類監管還應為人工智能技術的發展“保持開放和有利的環境”。[2023/4/30 14:35:56]

利用Prometheus提供的API測試內存使用量

在Klaytnbinary中，以3500TPS處理transaction時，大約需要用到100G的內存。我們為了確認具體是哪里在消耗大量內存，利用Go語言所提供的內存分析工具，進行了確認。

??gotoolpprofcn-mem0.prof

File:kcn

BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f

Type:inuse_space

Time:Mar26,2020at8:56am(KST)

Enteringinteractivemode(type"help"forcommands,"o"foroptions)

(pprof)top

Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal

Dropped382nodes(cum<=0.22GB)

Showingtop10nodesoutof77

基于MetaMask的擴展工具CoinChoice上線:4月25日消息，基于MetaMask的擴展工具Coin Choice上線，該工具支持使用非GasToken（如USDC等）支付不同網絡的gas費用。該工具基于MetaMask的擴展平臺MetaMask Snaps搭建，曾是ETH Denver黑客松入圍項目。[2023/4/25 14:25:30]

?flatflat%sum%cumcum%

?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue

?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set

?1.53GB3.52%85.47%1.53GB3.52%reflect.New

?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt

通過內存分析工具，我們可以看到每個部分所消耗的內存。在上述結果中，可以通過?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB，還可以看到其中的96.33%，即41.91GB具體用在哪里。不僅如此，通過30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue，可以看到有30GB(68.97%)用于bigcache上。

Tron在2022年第四季度創造了4800萬美元的收入:金色財經報道，根據 Messari 提供的數據，去中心化數字平臺 Tron 在 2022 年最后一個季度的收入為 4790 萬美元，比第三季度增長 25%。?Tron也出現了更多的新用戶和網絡活動增長。平均每日活躍地址從第三季度的 260 萬激增至第四季度的 310 萬，而平均每日交易量達到 650 萬（上一時期為 530 萬）。每秒平均交易量攀升至 76 筆（第三季度為 62 筆），交易費用保持在 0.08 美元。[2023/2/12 12:01:26]

??

這兩個測試結果中，我們發現了問題。根據Prometheus所提供的內存使用library，kcn大約占了100GB，但內存分析結果(43.50GBtotal)表明，kcnbinary只占了?43.5GB。我們無法確認其余56.5GB(=100GB-43.5GB)的內存去了哪里。?

于是我們猜測應該是Bigcache占據了大部分內存。為了確認Bigcache是否占據了內存，我們在相同環境的2臺服務器上設置了不同的cachesize進行測試，設置分別為30GB和0GB。2臺服務器的top和內存分析結果如下。

(Top命令結果是GiB，Prometheus所提供的library的結果是GB，兩者為相同的量)

Cypresssynctest

AWSInstance:m5.8xlarge

memorysize:128G

普華永道中東提出阿聯酋數字資產監管的三階段促進模式:8月14日消息，普華永道（PwC）中東分部近日發布報告《阿聯酋虛擬資產市場》，就阿拉伯聯合酋長國如何成為增長最快的數字資產市場之一提供其見解。

該報告提出阿聯酋數字資產監管機構可以遵循的三階段促進模式，包括制定明確而全面的監管制度，推動行業自律，以及與行業內的國際合作伙伴合作，以確保市場長期增長的持續透明度和合規性。

根據普華永道的數據，阿聯酋的數字資產交易量約為250億美元，在2020年7月至2021期間增長500%，成為中東第三大市場，僅次于土耳其（1320億美元）和黎巴嫩（260億美元）。（CoinGeek）[2022/8/14 12:24:36]

cachesize:30G,0G

<imgalt=""class="tuvhyaj-irjw"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>

安全團隊：某質押挖礦項目遭受攻擊，損失約為11萬美元:7月12日消息，據成都鏈安安全社區成員提供的情報顯示，質押挖礦項目（0xa792B90067bd73b048AF12bC2a6E1978FE34BBdb）遭受黑客攻擊。經成都鏈安技術團隊分析，攻擊者利用合約中updateBalance函數的加法溢出漏洞，修改攻擊賬戶的質押量，最終利用超高的質押量領取出了該合約幾乎全部的資產。最終，攻擊者總計獲利約為11萬美元，目前獲利資金一半已進入Tornado.Cash，另一半被轉至0xbfa16fB56B50ac3A69922447BBfC89A59b8B350A地址。成都鏈安“鏈必追”將會對涉案地址進行持續監控。[2022/7/12 2:07:05]

<imgalt=""class="tuvhyaj-irjw"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>

top命令結果(左：cache30G；右：cache0GB)

<imgalt=""class="tuvhyaj-irjw"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj-irjw"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>

GoMemoryProfiling結果(左：cache30G；右：cache0GB)

我們可以看到，被分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為70GB和35GB，有35GB的內存追蹤不到。而沒有分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為5GB和2GB，有3GB的內存追蹤不到。?

通過以上測試，我們可以推斷，若使用Bigcache，會占用大于分配額的內存。而就算不使用Bigcache，也會出現3GB左右的遺漏。當然，GC(GarbageCollector)的運作，可能令不管使用什么樣的Go程序都有機會出現內存分析結果和實際使用量的誤差。

而且，我們通過這篇文章可以得知，長時間占據大量的heap內存，并在分配時使用pointer的話，會消耗非常大的內存。

<imgalt=""class="tuvhyaj-irjw"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>

GC(GarbageCollector)可尋找程序動態分配的內存中不再運作的部分，收回該部分的內存并分配給其他區域。為此，Go語言的GC(GarbageCollector)會對沒有運作的區域進行確認，看是否被分配了內存。這時，用于確認的標志就是pointer，如果某個區域有很多pointer或占據了大量內存，GC在搜查過程中會消耗較大內存。

話句話說，在運行GC(GarbageCollector)之前，內存使用量為44GB，一旦開始運行，內存使用量就會增加100GB。再加上進行內存分析的時間剛好在GC完成運轉后，所以只看到了運轉前的內存使用量，即44GB。由于Klaytn分配的Bigcache量很大，所以GC一直在消耗更多的內存。

這類情況會導致系統突然出現內存不足的情況。因為Klaytn需要長時間運轉，必須避免由于占用過多內存導致系統突然崩潰的情況。在下一篇文章內，我們將會介紹解決該內存遺漏問題的過程。

關于Klaytn

項目名稱:Klaytn

英文縮寫:KLAY

官方網站:https://www.klaytn.com/??

項目簡介：Klaytn是以服務為中心的企業級分布式信任區塊鏈平臺，通過高效的“混合”設計，結合了公有鏈和私有鏈的最優功能。Klaytn與全球眾多知名品牌的參與合作，通過共同的不懈努力，創建可靠的去中心化業務平臺。Klaytn治理委員會是一個由跨國企業和組織組成的聯盟，負責運營共識節點網絡，推動生態系統發展。Kakao的區塊鏈開發部門「GroundX」已正式推出Klaytn，并可用于商業用途。

來源：金色財經

Tags：COMCACACHCHEcomp幣未來價格預測CACCYacht CoinCHEERS價格

BNB