以太坊:以太坊 2.0 主網事故回顧

https://beaconcha.in/epoch/32302

事故概要

從epoch32302開始，信標鏈丟失了大量區塊提議。由于Prysm是Eth2客戶端中用戶最多的，因此問題最有可能出現在Prysm上。一段時間之后，我們在本地重現了該錯誤。這其實是我們已知的一個與eth1數據投票和驗證者存款相關的問題。盡管之前已經有人向我們報告過此問題了，但是我們無法重現這個bug并將其視為孤立事件。而且這個問題從未在任何測試網或者主網中廣泛傳播過。這是該問題首次導致區塊提議失敗事故。

在這18個epochs內，幾乎所有Prysm信標節點都無法生產新區塊。Epoch32320又開始正常運行了，當時大家普遍認為該事故已經結束了。然而大約24小時后，該事故再次發生，造成了類似的影響。

關于此事故的正式事后剖析報告已發布，訪問鏈接查看：https://docs.google.com/document/d/1nJr6_bd-UnLBxvhT8lcRYdAZr69QdVQ3zJNUr3LgW-0/edit

該回顧詳細介紹了事故的時間線；分析了根本原因以及列出了Eth2質押者和參與者需要注意的問題。

影響

一些初步數據表明，第一次事故中，每個受影響的驗證者平均損失122950gwei(按文章攥寫時的價格計算為0.3美元)。而該次事故發生的24小時內，又發生了第二次相同的事故，每個受影響的驗證者損失約為0.22美元。

一些關鍵事實：

沒有驗證者被罰沒

對信標鏈的敲定沒有影響

參與率還是很高(最低點也有84.8%)（編者注，此數據與BenEdgington編寫的最新一期《Eth2進展更新》有出入。)

大多數驗證者丟失2到3個證明，不管哪個客戶端類型

這次不像是一次惡意或故意的攻擊

在整個團隊經過大約30個小時的努力之后，我們診斷了其根本原因，并在UTC時間4月25日早上6點為所有Prysm節點部署了修復版本。在節點尚未完全升級之前，類似的事故仍發生了最后一次。給節點運行者足夠的時間升級客戶端之后，此類事故沒有再發生過了，并且有證據表明該問題已得到完全解決。

某休眠近8年的以太坊IC0參與地址將1枚ETH轉至新地址:金色財經報道，據LookonChain監測，一個以太坊IC0參與地址在休眠7.7年后激活，將1枚ETH轉移到一個新地址。他曾在以太坊創世時收到了 2,365枚ETH（目前為442萬美元），ETH IC0價格約為0.31美元。[2023/4/24 14:23:06]

問題解答

成為驗證者的捷徑

此事故是否會削弱大家對Eth2的信心？

不會。該事故并沒有造成共識失敗，并且該事件的影響范圍與Eth2主網的規模相比非常小(在第一次事故中，每個受影響的驗證者平均損失約0.3美元)。自創世以來，Eth2一直都非常強大，驗證者參與率非常高，并且每個epoch都完成了敲定。從我們的角度來看，故障解決了之后，網絡有能力恢復到完美運行的狀態，反而增強了社區對以太坊的復原能力的信心。

此事故是否會削弱大家對PrysmaticLabs團隊的信心？

我們對此次事故做出的反應和解決方法與此前我們處理Eth2測試網中的故障時完全不同。此次事故發生后，我們團隊馬上排除了錯誤信息；量化影響；以及在等待解決方案時，給驗證者們列出了明確的應對步驟。再者，我們完全確定了解決方案之后，才去讓大家升級客戶端版本。值得注意的是，由于Prysm客戶端是以太坊2.0網絡中用戶占比最大的軟件，因此出現的任何bug都可能會引起更嚴重的問題。

對于核心開發者來說，工作的關鍵是要“約束復雜性”(boundcomplexity)。諸如Eth2之類的分布式系統具有如此多的變量，我們每個團隊都盡一切努力以減少其出bug的可能性。當然，在這個的軟件中，出現bug是不可避免的，并且我們承認，PrysmaticLabs確實出錯了。但是我們希望可以展現出我們團隊解決問題的動力與能力，同時為驗證者平衡速度和準確性之間的問題。

事故根本原因總結

Eth2和Eth1鏈松散地連接著，Eth2僅在驗證者存款驗證時需要用到Eth1。也就是說，即使驗證者對垃圾數據進行了投票，Eth2PoS鏈也可以繼續運行。而唯一會影響到的事就是，新的驗證者存款無法添加，直到PoS鏈再次對正確的Eth1數據進行投票。此“投票”是在“投票周期”中完成的，目前主網上將該周期設置為64epochs(大約6.8小時)。

以太坊質押協議Swell Network上線以太坊主網:8月23日消息，以太坊質押協議Swell Network通過Guarded Launch上線以太坊主網。此次上線為多階段發布計劃，其中每個階段都有一個相應的ETH閾值，該閾值將由DAO主動管理，以支持協議的初始引導，其中第1階段已于北京時間8月22日8:00開始。[2022/8/23 12:42:58]

投票的方式為一個簡單的“絕對多數”原則，Eth2驗證者規范中有解釋其運作方式。不幸的是，Prysm在實行該原則(按照絕對多數原則投票)時，丟失了一些驗證。該事故中，由于Prysm出現了bug，導致一名區塊提議者創建了一個完全無效的Eth1存款樹根，而其他Prysm節點首先發現了該區塊提議。隨后，他們對此投了有效票，因為Prysm客戶端遵循的是簡單的“絕對多數投票”原則，而沒有做明確的驗證。

然后，所有Prysm節點”滾雪球“般地對無效信息投票，導致了區塊提議者無法將具有存款的區塊打包進鏈。這是因為，這些存款對節點的Eth1存款樹根未進行驗證，所以區塊提議會失敗。而在投票期結束之后，該問題就自動解決了，但如果bug未修復，將再次出現這種問題。

實際上，這次出現無效Eth1存款數據樹根的根本原因是，存款緩存初始化中出現了bug，但僅影響了使用Prysm客戶端的一部分信標節點。這導致這些節點生產錯誤的存款樹根，而其他Prysm節點對其進行投票，從而造成了此次事故。

事件時間線

注意，下面是技術細節！大家可以跳到下一部分，閱讀解決方案以及該次事故帶來的經驗教訓。

區塊提議失敗

Epoch32302開始出現區塊提議丟失的問題。

Nishant通知了團隊，并召開了全體會議。然后，我們通過本地的主網信標節點重現事故，并開始了調查。

調查顯示，Prysm對奇怪的、錯誤的eth1存款樹根投票

我們注意到Prysm的節點正對奇怪的樹根投票，該默克爾根用于驗證PoS鏈中的驗證者存款合約的存款完整性。在公共瀏覽器上查看了最初的區塊提議者的歷史信息之后(為了保護該驗證者，就不公布其身份了)，我們推斷這并不是一起攻擊事件。

摩根大通：以太坊將繼續失去其在去中心化金融領域的主導地位:金色財經報道，在最近的一份研究報告中，摩根大通分析師Nikolaos Panigirtzoglou預測以太坊將繼續失去其在去中心化金融領域的主導地位。 為了增加網絡的可擴展性，它會被劃分成獨立的分片。分片無疑是備受期待的以太坊2.0升級的主要功能之一。然而，由于分片鏈階段預計僅在2023年開始。以太坊在去中心化金融市場的份額在過去一年中一直在穩步縮小。根據DefiLlama提供的數據，去年1月，以太坊的主導地位超過97%，但由于Terra、Binance Smart Chain 、Avalanche和Solana等競爭對手的快速增長，其在DeFi協議鎖定的總價值中的份額現已縮水至63% 。（U.Today）[2022/1/6 8:29:56]

排除法

最初的懷疑是關于Prysm如何在驗證者提議代碼路徑中處理eth1數據投票。尤其是，我們試圖排除一些問題：

1.打包存款進區塊這里有問題嗎？

2.存款日志信息獲取和eth1信息混了或者不確定嗎？

3.我們的存款默克爾樹出現問題了嗎？

在接下來的16個小時左右，我們花費了大量的時間共同努力診斷潛在的問題。我們梳理了代碼行，試圖通過單元測試來重現故障過程，并嘗試了各種方法。盡管我們已經有了一個潛在的解決方案，我們也因缺乏信心而對發布修復版本而緊張。

較合理的根本原因

此前在處理Eth2測試網中的bug時，我們得到了一些經驗教訓，光對根本原因有信心是不夠的。在高風險的情況下，在向用戶公布解決方案之前，我們需要有100%的信心。在事故發生后28小時，我們坐下來并問自己：”我們還有什么是不知道的呢？我們還可以問什么問題來讓我們更接近發生故障的根本原因呢？”然后我們知道了以下幾點：

1.我們的稀疏默克爾樹(sparsemerkletree)實現并沒有嚴重的bug，因為它使用主網和Prater測試網的存款，與Lighthouse和Protolambda的Eth2zrnt實現相匹配。

2.我們用于從Eth1節點檢索Eth1數據的代碼路徑沒有bug，也沒有返回不正確的數據。

兩位主要以太坊鯨魚購買近48萬枚LINK:WhaleStats數據顯示，排名第111和116位的兩位主要以太坊鯨魚在過去20小時內總共購買了479701枚LINK，相當于11311820美元。（U.Today）[2022/1/4 8:25:07]

我們不知道的有：

1.無效的存款樹根是如何產生的

2.為什么這個問題在一些節點中是可以重現的，而其他節點不可以

3.為什么Prysm節點在確定區塊中的存款數量時，出現了”off-by-one“錯誤

修復問題

為了回答這些問題，我們看了初始化我們的存款樹的代碼路徑。結果發現，在早期添加了一個緩存層以避免質押者每次啟動他們的節點時都必須下載所有驗證者存款記錄。此外，我們添加了一個新功能——在客戶端內部可以從一個內嵌的創世狀態中啟動Prysm。在填充緩存時，我們存款樹的一個錯誤預設導致信息的訛誤：

問題根源

事實證明，如果我們的存款樹是空的，函數len(items)將始終返回1。這意味著當實際上我們應該把lastReceivedMerkleIndex的值設為-1時，我們會把它設為0。上面的代碼會導致一些在該代碼路徑的Prysm節點跳過把第0筆存款嵌入到樹里。我們代碼庫的其他部分都指向問題出在我們存款樹實現的這個奇怪部分，而不是這個代碼路徑。

為了檢驗這個假設，我們嘗試使用Protolambda提供給我們的測試夾具盡可能地復制代碼路徑。我們直覺我們漏了將第0筆存款嵌入到存款樹。當然，我們能夠在一個可重復的測試中找到導致整個事件發生的、有問題的存款樹根！然后，我們圍繞該代碼路徑添加條件，以避免該條件再次出現，并準備推出最終確定的修復版本。

問題解決

根本原因總結

Prysm把eth1數據保存在磁盤上，以防止用戶在每次重啟進程時都必須對驗證者存款合約日志發出請求。

如果一個節點重啟并把eth1數據保存在磁盤上，我們會從這些數據初始化我們的存款緩存，但由于我們的稀疏默克爾樹(sparsemerkletree，SMT)協助程序包的工作方式與從磁盤上的數據初始化此緩存的代碼路徑不相同，我們會跳過把第0筆存款嵌入存款樹，造成無效存款樹根。這個代碼路徑只影響那些創世以來還沒有數據庫的節點，后來被修復了。

以太坊L2網絡總鎖倉量超30億美元:金色財經報道，L2BEAT數據顯示，以太坊Layer2上總鎖倉量為30.8美元。其中鎖倉量最高的為擴容方案Arbitrum，約17.2億美元，占比55.69%。其次是dYdX，鎖倉量超7.44億美元，占比24.10%。Optimism鎖倉量2.6億美元，占比8.43%。[2021/10/10 20:17:47]

在官方規范里，Prysm節點遵循“絕對多數”的原則執行一個eth1數據投票算法，但是，Prysm并沒有完全實現該算法的一些有效條件。Prysm節點隨絕對多數eth1數據投票進行投票，該投票數據引用的是一個現存的區塊根，這可能導致Prysm節點投票給一個由有問題的存款樹生成的存款樹哈希值，因為這些存款是未被驗證的。

由于網絡里大部分的節點都是Prysm節點，隨絕對多數原則投票給有問題存款根這個問題的滾雪球效應發展成一個嚴重問題，因為Prysm節點在隨后一段時間里無法在主網上生成區塊。

一旦eth1數據投票期重置了，Prysm節點又可以正確地提議區塊了，直到在未來又遇到該漏洞。

解決方案

在北京時間4月25日周日13:00，在不確定性中煎熬了多個小時后，我們發布了對該問題的修復。我們對這個解決方案有十足的把握，并非常有信心在節點升級后，該問題在Eth2中不會再出現。

吸取校訓

在事件中，對我們的解決方案有信心和與外界的謹慎溝通是至關重要的

當我們遭遇Eth2的Medalla測試網事故時，我們上了關于良好溝通的價值的重要一課。每個公共評論和語言的精確表達都會對事件的結果產生嚴重影響。在測試網的事件里，我們以為一個立即的解決方案是通過公共渠道告訴大家“重啟你們的節點”。這個草率的決定導致網絡上大部分的節點都掉線了，然后爭先恐后在一堆壞的對等節點里找好的，以實現與區塊鏈的同步。此外，我們很快發布了一個沒有100%信心能解決問題的軟件升級熱補丁。這給系統帶來更多的混亂，并造成節點運行商對解決方案的疑慮。

相較之下，在這次主網新事故的整個過程里，我們一直注意慎重與精確的溝通。另外，在我們對問題的根源和解決方法有100%的信心之前我們沒有發布熱補丁。

保持耐心與冷靜有助于解決問題

我們團隊經過了過去幾年構建Eth2，學到了如何在面對逆境時保持冷靜。我們相信在解決問題過程中，保持冷靜、頻繁交流狀態報告、確保團隊感受到支持和正面的反饋是非常重要的。我們能夠花時間收集盡可能多的證據，并與我們的用戶進行細致的合作，我們將成功解決這個問題。更重要的是，我們在開始時就花時間對事件影響進行量化，以減少質押者與因缺乏信息而產生的憂慮。這個教訓對在高度緊張與睡眠不足的情況下工作非常重要。慢下來，用適當的方法解決它，并不惜一切代價避免把問題弄得更糟。

Eth2測試網不等于主網

對于Prysm客戶端，我們在公共Eth2測試網中對Prysm產品前的候選版本進行了廣泛的測試和監聽。Prater和Pyrmont測試網都是用戶在加入到Eth2主網前用來測試他們的設置的好工具。但是，這些測試網都預設四個產品級Eth2客戶端的占比是接近平均分的，即沒有哪個客戶端在驗證者中有明顯的多數份額。不幸的是，這可能沒有考慮到當某個客戶端為大多數人所使用時才會出現的漏洞。在未來，PrysmaticLabs會在一個更接近主網環境、或一個Prysm網絡節點50%的環境里進行內部測試網里進行測試。

此外，我們建議其他客戶端也在它們自己的內容測試中加入這樣的環境，在它們成為大多數客戶端的時候，它們也可以了解自己客戶端的潛在問題。

質押者應該思考什么

為什么使用Prysm客戶端做質押

https://launchpad.ethereum.org

人們選擇運行Prysm時因為從一開始我們團隊已經專注于使他們參與以太坊質押的體驗更簡單。我與我們的用戶溝通過很多次，很多人選擇一個客戶端不是因為微觀上的優化或與其他客戶端相比相對小的收益差別，而是因為我們使得他們的體驗更簡單——良好的文檔資料，一直給所有的社區成員提供重要的幫助。對于新手來說Eth2是可怕的，質押也充滿不確定性和風險。我們團隊的使命是讓用戶知道我們在他們身邊，以及無論他們的問題多小都會得到我們的支持。特別地，我們一直關注那些可能對命令行不太熟悉、不太了解UNIX操作系統的普通質押者。

在未來，你可以對我們團隊有以下期待：

提高實現規范條件的準確性，確保預設和有效條件在任何代碼被寫入前都被充分審核和質疑

我們不因要提高這個體驗，還要加倍努力，使Prysm比今天提升很多倍，使使用我們客戶端的質押者更容易參與網絡，包括網頁界面的改進。

Prysm將在研發方面加倍努力，在eth1<>eth2的合并前提供關鍵的功能與改進。

我們相信健康的競爭能形成一個強大的激勵機制，推動ETH的權益證明能有更多人參與，也因此更安全，因為所有客戶端團隊都不斷改善他們的軟件

我們團隊致力于以最高的專業水準來解決和質押者可能會遇到的問題。我們相信我們做好處理我們路上會遇到的任何問題，并向我們的社區保證我們會把質押者體驗作為我們的最高優先級。

最后，我們相信還有很多重要功能可以使Prysm變成參與Eth2的、更有吸引力的軟件，我們將朝著這個目標不斷迭代

Prysm有一些驗證者收益的高級優化還沒對所有質押者設為默認啟動。我們相信這些功能發布后，Prysm的質押者會看到最高水平的收益。

回顧客戶端多樣性的對話

自Eth2創世以來，我們一直聽到的一個共同主題是客戶端多樣性。Eth2是一個有世界各地的人作為驗證者參與的分布式系統。不同人用不同的軟件參與到區塊鏈的共識里，如果某個軟件出現嚴重問題，如果運行網絡的客戶端實現由一個平衡分布的話，影響會更小。

LeonardoBautista-Gomez早在一月的時候公布了一份數據分析，結果現實Prysm節點占網絡的65%，此次事件也顯示Prysm驗證者在今天占了大多數。

https://github.com/leobago/BSC-ETH2/tree/master/armiarma

我們建議你們客觀地看待每個客戶端：它的軟件、它的社區、還有它的韌性，然后決定選哪個軟件及其背后的團隊是最適合你的需求的。如果某個Eth2客戶端缺少了對你來說很重要的東西，者正式你不選他們的客戶端的理由，我們強烈推薦你提出一個功能請求。PrysmaticLabs會繼續專注于幫助你參與到以太坊網絡，并推動區塊鏈軟件的邊界。

如果你想溝通和對本文由疑問的話，請加入我們的Discord。

參考

?事件的溝通https://www.reddit.com/r/ethstaker/comments/mxpz57/regarding_the_recent_beacon_chain_incident/

?事后檢討報告https://docs.google.com/document/d/1nJr6_bd-UnLBxvhT8lcRYdAZr69QdVQ3zJNUr3LgW-0/edit?usp=sharing

?Medalla測試網事件https://medium.com/prysmatic-labs/eth2-medalla-testnet-incident-f7fbc3cc934a

https://medium.com/prysmatic-labs/tagged/blockchain)

原文鏈接：

https://medium.com/prysmatic-labs/eth2-mainnet-incident-retrospective-f0338814340c

來源|?PrysmaticLabs

作者|?RaulJordan

Tags：ETHPRYETH2以太坊LuckTogetherPRY幣ETH2幣以太坊幣是哪個國家的幣

DYDX