NAR:V神：分片是以太坊可擴展性的未來，揭開分片的神秘面紗

本文作者：以太坊創始人VitalikButerin

英文原文：https://vitalik.ca/general/2021/04/07/sharding.html

特別感謝DankradFeist和AdityaAsgaonkar對本文內容的審核。

分片是以太坊可擴展性的未來，它將是幫助以太坊生態系統每秒支持數千筆交易并允許世界上大部分地區以可承受的成本經常使用該平臺的關鍵。但是，分片也是以太坊生態系統和更廣泛的區塊鏈生態系統中很容易被誤解的概念之一。分片指的是一組具有非常特定屬性的非常特定的想法，但是它常常與具有非常不同且通常弱得多的安全屬性的技術混為一談。這篇文章的目的是確切解釋分片提供的特定屬性，它與沒有分片的其他技術有何不同，以及為實現這些屬性而必須做出的犧牲。

以太坊的分片版本的眾多描述之一。Hsiao-weiWang提供原始圖，由Quantstamp設計。

可擴展性三角

描述分片的最佳方法就是從塑造和啟發解決方案的問題陳述開始：可擴展性三角。

可擴展性三角認為，區塊鏈試圖同時擁有三個屬性，如果堅持技術“簡單性”，那么你只能獲得這三個屬性中的兩個，即區塊鏈“不可能三角”。這三個屬性是：

可擴展性：區塊鏈可以處理的交易量比單個常規節點可以驗證的交易量更多。

去中心化：區塊鏈可以在不依賴來自一小群大型中心化參與者的任何信任的情況下運行。這通常意味著，您不能把信任交給一小組節點。

安全性：區塊鏈可以抵抗來自很大一部分參與節點正在對其展開的攻擊。

要想獲得可擴展性三角中的兩個，我們現在來看一下三類“簡單的解決方案”：

傳統的區塊鏈——包括比特幣，預PoS/分片的以太坊，萊特幣和其他類似的鏈。這些區塊鏈都依賴于那些運行完整節點的每個參與者來驗證每筆交易，因此它們具有去中心化和安全性，但沒有可擴展性。

高TPS區塊鏈——包括DPoS系列，也包括許多其他產品。這些依賴于少數幾個節點之間保持共識，而用戶必須信任這些節點中的大多數。這是可擴展的和安全的，但是它不是去中心化的。

多鏈生態系統——這是指“橫向擴展”的一般概念，通過在不同的鏈上開發不同的應用，并使用跨鏈通信協議在它們之間進行對話。這是去中心化的，也是可擴展的，但是不是安全的，因為攻擊者僅需要在多個鏈中的一個中獲得共識節點的多數，即可打破該鏈并可能引起連鎖反應，從而導致對其他鏈中的應用造成了極大的損害。

V神：發送ETH和交換Token的成本需要低于0.05美元才能真正被接受:5月4日消息，以太坊創始人 Vitalik Buterin在社交媒體稱發送ETH和交換Token的成本需要低于0.05美元才能真正被接受。不過以太坊網絡也取得了很大進步，甚至分片技術EIP-4844也足以過渡一段時間。[2022/5/4 2:48:34]

分片是一種可以讓您同時擁有全部三個屬性的技術。分片區塊鏈具備：

可擴展：與單個節點相比，它可以處理更多的交易

去中心化：它可以完全在家用筆記本電腦上使用，而不依賴于任何“超級節點”

安全：攻擊者無法使用少量資源來瞄準系統的一小部分進行攻擊；他們只能試圖統治和攻擊整個區塊鏈系統

本文章的其余部分將描述分片區塊鏈如何做到這一點。

通過隨機采樣進行分片

分片最容易理解的版本是通過隨機采樣進行分片。與我們在以太坊生態系統中建立的分片形式相比，通過隨機采樣進行分片具有較弱的信任屬性，但它使用的技術更簡單。

核心思想如下。假設您有一個具有大量驗證者的PoS鏈，并且您有大量需要驗證的區塊。在出現下一組區塊產出之前，單一一臺計算機不具有足以驗證所有這些區塊的能力。

因此，我們要做的是隨機分配進行驗證的工作。我們隨機地對驗證者列表進行混洗，并在混洗后的列表中分配前100個驗證者以驗證第一個區塊，在混洗后的列表中分配后100個驗證者以驗證第二個區塊，依此類推。這些隨機分配用于驗證區塊的驗證者們稱為委員會。

驗證者驗證區塊時，他們會發布簽名，以證明他們已這樣做。不同于所有人都驗證這100個區塊，取而代之的是所有人驗證10000個簽名——這么做的工作量要小得多，尤其是使用BLS簽名聚合?時。取代通過相同的P2P網絡廣播每個區塊，而是在不同的子網上廣播每個區塊，并且節點僅需要加入它們負責的區塊所在的子網。

請考慮一下，如果每個節點的計算能力增加2倍，會發生什么情況。由于每個節點現在可以安全地驗證2倍以上的簽名，因此您可以減少最小的質押存款大小以支持2倍的驗證者，因此，您可以組成200個委員會而不是100個委員會。因此，您可以每個插槽驗證200個區塊而不是100個。此外，每個單獨的區塊也可以擴大2倍。因此，您有2倍數量的2倍大小區塊，換句話說區塊鏈容量總共增加了4倍。

我們可以通過一些數學術語來表示。使用BigO表示法?，我們使用“O”來指代單個節點的計算能力。傳統的區塊鏈可以處理O個區塊。如上所述的分片區塊鏈可以并行處理O個區塊，因為每個節點只需要驗證固定數量的簽名即可），每個區塊具有O容量，因此分片區塊鏈的總容量為O。這就是為什么我們將這種分片稱為“二次分片”，并且這種影響是我們認為從長遠來看分片是擴展區塊鏈的最佳方法的關鍵原因。

V神：Eth 2.0將在2022年末擁有企業級應用程序所期望的可擴展性:以太坊創始人V神表示，我們原本認為進行PoS需要一年時間，但實際上需要六年時間。如果你正在做一件你認為需要一段時間的復雜事情，實際上很可能需要更多的時間。以太坊走到今天的過程中中，發生了許多內部團隊沖突。在項目中發現的最大問題之一不是技術問題，而是與人有關的問題。Eth 2.0或許將在2022年末才能夠擁有大型企業應用程序所期望的那種可擴展性。（Cointelegraph）[2021/6/2 23:04:23]

常見問題：拆分為100個委員會與拆分為100個獨立的鏈有何不同？

有兩點不同：

隨機采樣可防止攻擊者將力量集中在一個分片上。在一個擁有100條鏈的多鏈生態系統中，攻擊者只需要約0.5％的質押就可造成嚴重破壞：他們可以專注于對一條鏈展開51％攻擊。在分片的區塊鏈中，攻擊者必須擁有全部質押的約30-40％才能做同樣的事情。當然，攻擊者可以等待，盡管其持有的質押少于全部質押的50％，但可以通過獲得隨機機會獲得單個分片進行51％攻擊的機會，但是對于少于51％的攻擊者，這將攻擊難度成倍增加。如果攻擊者的資產少于?30％，則幾乎是不可能的攻擊成功的。

緊密耦合：即使一個分片遇到壞塊，整個鏈也會重組以避免這個區塊。這里有一個社會合約，即使一條鏈在一個分片中只有一個壞塊，這也是不可接受的，一旦發現，就應該廢棄。這樣可以確保從鏈上應用的角度來看，它具有完美的安全性：合約A可以依賴合約B，因為如果合約B由于對鏈的攻擊而行為不當，那么整個歷史記錄都將還原，包括其由于合約B的故障而行為不當的合約A交易。

這兩種差異確保分片為應用創建了一個環境，該環境保留了單鏈環境的關鍵安全屬性，而多鏈生態系統則根本沒有這種方式。

通過更好的安全模型改善分片

比特幣社區的一種普遍看法是我完全同意的，那就是像比特幣這樣的區塊鏈并不完全依賴一種誠實多數假設。如果對這樣的區塊鏈展開51％攻擊，則攻擊者可以做一些令人討厭的事情，例如還原或審查交易，但他們不能插入無效的交易。而且即使進行還原或審查交易，運行常規節點的用戶也可以輕松檢測到該行為，因此，如果社區希望通過分叉來消除攻擊者的力量來協調解決該攻擊，他們可以迅速采取行動。

缺乏這種額外的安全性是更中心化的高TPS鏈所面臨的主要弱點。這樣的鏈沒有，也不可能具有運行節點的常規用戶文化，因此主要節點和生態系統參與者可以更輕松地聚在一起，并實施社區非常不喜歡的協議更改。更糟糕的是，用戶的節點默認情況下會接受它。一段時間后，用戶會察覺，但是到那時，這個強制協議更改已經成為既成事實：這個協調負擔將由用戶承擔來拒絕更改，他們將不得不做出痛苦的決定來逆轉這一天在區塊鏈上產生的價值，或撤銷更多每個人都以為已經完成的活動。

V神：并未期待加密貨幣成為記賬單位:剛剛，V神在回復推特網友時表示，我同意這個觀點，即在經濟衰退期間，一個良好的記賬單位應該會降低購買力，在這點上，法定貨幣比加密貨幣做的更好。但我仍然支持加密貨幣，因為在我對加密貨幣主導世界的愿景中，并不包括加密貨幣成為記賬單位。我們已經看到一些東西是用比特幣或以太坊支付的，但是是以美元計價的。我甚至認為，央行的角色是維持一個價格指數，而大多數工資、合同、承諾都是以這個指數來計價的。與此同時，我不認為ETH是凱恩斯主義者。[2020/10/28]

理想情況下，我們希望采用一種分片形式，避免51％信任假設，并保留傳統區塊鏈從全面驗證中獲得的強大安全堡壘。而這正是我們過去幾年的大部分研究成果。

可擴展的計算驗證

我們可以將抗51％攻擊的可擴展驗證問題分為兩種情況：

驗證計算：檢查某些計算是否正確完成，假設您擁有該計算的所有輸入

驗證數據可用性：檢查計算本身的輸入是否以某種形式存儲，如果確實需要，可以下載它們；執行此檢查時，請不要實際下載所有輸入本身

驗證區塊鏈中的區塊涉及計算和數據可用性檢查：您需要確信區塊中的交易有效，并且區塊中聲明的新狀態根哈希是執行這些交易的正確結果，但是您還需要需要確信來自該區塊的足夠數據實際上已經發布，以便下載該數據的用戶可以計算狀態并繼續處理區塊鏈。第二部分是一個非常微妙但重要的概念，稱為數據可用性問題?。稍后再討論。

擴展驗證計算相對容易；有兩種技術：欺詐證明和ZK-SNARK。

欺詐證明是一種可擴展地驗證計算的方法。

這兩種技術可以簡單地描述，如下：

欺詐證明是一個接受計算結果的系統，您需要有進行過質押的人簽署以下形式的消息：“我證明，如果使用輸入X進行計算C，則會得到輸出Y”。您默認情況下會信任這些消息，但是會給進行過質押的其他人提供挑戰結果的機會。僅當有人挑戰結果時，所有節點才運行計算。這兩方中的任何一方出錯都會失去其質押，并且將重新計算所有依賴于該計算結果的計算。

ZK-SNARK是一種加密證明形式，可以直接證明“在輸入X上執行計算C會給出輸出Y”的主張。該證明在密碼上是“合理的”：如果C不等于Y，則在計算上不可能做出有效的證明。即使運行C本身花費大量時間，該證明也可以很快地進行驗證。有關ZK-SNARK的更多數學詳細信息，請參見此文章。

基于欺詐證明的計算是可擴展的，因為在“通常情況下”，您將通過驗證單個簽名來代替運行復雜的計算。在特殊情況下，由于存在挑戰，您必須在鏈上驗證計算，但是在特殊情況下卻很少見，因為觸發它的代價非常昂貴。ZK-SNARK在概念上更簡單——它們只是用便宜得多的證明驗證來代替計算——但其工作原理背后的數學卻要復雜得多。

V神：以太坊2.0團隊或在4月推出多客戶端測試網:金色財經報道，根據以太坊聯合創始人V神（Vitalik Buterin）的說法，以太坊2.0團隊可能會在4月推出多客戶端測試網。據悉，技術安全公司Least Authority最近對ETH 2.0規范進行了審核，該審核強調協議的P2P消息傳遞系統和區塊提議者系統存在潛在的安全漏洞。在回應該報告時，V神表示，ETH 2.0團隊目前正在努力解決這些問題，盡管這可能需要長期的努力而不是立即進行修訂。[2020/3/31]

有一種半可擴展系統，它只能擴展地驗證計算，同時仍然需要每個節點驗證所有數據。通過使用一組壓縮技巧將大部分數據替換為計算，可以使此方法非常有效。這是Rollup?的領域。

數據可用性的可擴展驗證更加困難

欺詐證明不能用于驗證數據的可用性。計算的欺詐證明依賴于這樣的事實，即計算的輸入在最初聲明者提交后即在鏈上發布，因此，如果有人挑戰，則挑戰執行將在與原始執行完全相同的“環境”中進行。在檢查數據可用性的情況下，您不能執行此操作，因為問題恰恰是存在太多數據需要檢查才能在鏈上發布的事實。因此，用于數據可用性的防欺詐方案遇到了一個關鍵問題：有人可以聲稱“數據X可用”但并不發布它，等待受到挑戰，然后只有在挑戰者出現在網絡的其余部分并且錯誤的時候才發布數據X。

這在“fisherman困境?”中得到了擴展：

核心思想是，這兩個“世界”，一個是V1是一個邪惡的發布者，V2是一個誠實的挑戰者，而另一個“世界”是V1是一個誠實的發布者，V2是一個邪惡的挑戰者。兩種情況對于當時未嘗試下載該特定數據的任何人來說都沒有區別。當然，在可擴展的去中心化區塊鏈中，每個單獨的節點只能希望下載一小部分數據，因此只有一小部分節點會看到發生了什么事情，除了存在分歧的事實。

分清誰對誰錯是不可能的，這個事實使得不可能有一個有效的欺詐證明機制來保證數據的可用性。

常見問題：如果某些數據不可用怎么辦？使用ZK-SNARK，您可以確保一切都有效，這還不夠嗎？

不幸的是，僅僅有效性還不足以確保區塊鏈正確運行。這是因為，如果區塊鏈有效，但所有數據均不可用，則用戶將無法更新其生成任何未來區塊有效的證明所需的數據。生成有效但不可用的區塊然后消失的攻擊者可以有效地讓區塊鏈陷入停滯。有人還可以保留特定用戶的帳戶數據，直到該用戶支付贖金為止，因此問題不僅僅在于生存問題。

有一些強有力的信息理論論點認為這個問題是根本的，并且沒有可以解決的聰明技巧。有關詳細信息，請參見本文。

聲音 | V神：以太坊2.0不是一個“騙局” 未來一周或寫有關研究文章:針對于此前關于以太坊2.0的報道，以太坊創始人V神發推表示，這篇報道很不公平。在標題中暗示以太坊2.0可能是一個“騙局”，不尊重幾十個人多年的辛勤工作，特別是距離第0階段還有幾個月。他隨后表示，對于如何從以太坊1.0遷移到以太坊2.0，“沒有明確的計劃”是不對的。大綱很清楚：將以太坊1.0狀態根放入以太坊2.0中，讓以太坊1.0作為執行環境繼續存在于以太坊2.0中。現有的以太坊1.X工作已經使我們朝著這一目標邁進。V神還稱，他可能會在接下來的一周寫一些關于他覺得人們有誤解的事情(包括以太坊1.0與2.0轉換、DeFi可組合性、過渡)的研究文章。[2019/10/9]

那么，如何在不實際下載的情況下檢查1MB數據是否可用？聽起來是不可能的！

這里的關鍵是一項稱為數據可用性采樣?的技術。數據可用性采樣的工作方式如下：

使用稱為擦除編碼的工具將具有N個區塊的數據擴展為具有2N個區塊的數據，以使這些區塊中的任何N個都可以恢復整個數據。

為了檢查可用性，用戶無需嘗試下載全部數據，而只是隨機地選擇區塊中恒定數量的位置，并且僅當他們在所有選定位置的塊中成功找到塊時，才接受這個區塊。

擦除編碼將“檢查100％可用性”問題轉換為“檢查50％可用性”問題。隨機抽樣解決了50％可用性問題。如果少于50％的數據可用，那么至少有一項檢查幾乎可以肯定會失敗，并且如果至少50％的數據可用，那么，盡管某些節點可能無法將某個區塊識別為可用，但這只需要一個誠實節點就能運行擦除編碼重建程序，以帶回剩余的50％區塊。因此，您無需下載1MB來檢查1MB區塊的可用性，而只需下載幾KB。這使得在每個區塊上運行數據可用性檢查變得可行。有關如何使用點對點子網有效地執行此檢查的信息，請參見這篇文章。

可以使用ZK-SNARK來驗證對一條數據的擦除編碼是否正確完成，然后可以使用Merkle分支來驗證各個區塊。或者，您可以使用多項式承諾承諾?），該承諾本質上是在一個簡單的組件中進行擦除編碼并證明單個元素和正確性驗證——這就是以太坊分片所使用的。

回顧：我們如何確保一切都正確？

假設您有100個區塊，并且您想不依靠委員會就有效地驗證所有區塊的正確性。我們需要執行以下操作：

每個客戶端在每個區塊上執行數據可用性采樣，以驗證每個區塊中的數據是否可用，同時每個區塊僅下載幾KB，即使區塊的整體大小為MB或更大。客戶端僅在正確響應了其可用性挑戰的所有數據后才接受區塊。

既然我們已經驗證了數據的可用性，那么驗證正確性將變得更加容易。有兩種技術：

我們可以使用欺詐證明：一些質押存款的參與者可以對每個區塊的正確性進行簽名。其他稱為挑戰者的節點隨機檢查并嘗試完全處理區塊。因為我們已經檢查了數據可用性，所以始終可以下載數據并完全處理任何特定的塊。如果他們發現一個無效的區塊，他們將發布一個所有人都可以驗證的挑戰。如果該塊被證明是壞的，則需要重新計算該塊以及所有依賴于該塊的未來區塊。

我們可以使用ZK-SNARK。每個區塊都帶有一個ZK-SNARK證明正確性。

在以上兩種情況下，每個客戶端僅需要對每個區塊進行少量驗證工作，無論區塊有多大。就欺詐證據而言，偶爾需要在鏈上對區塊進行充分驗證，但這應該非常少見，因為即使僅觸發一個挑戰也是非常昂貴的。

這就是全部！在以太坊分片中，短期計劃是使分片的區塊僅成為數據。也就是說，這些分片純粹是一個“數據可用性引擎”，使用該安全數據空間以及欺詐證明或ZK-SNARK來實現高吞吐量安全交易處理功能是LayerRollup的工作。但是，完全有可能創建這樣一個內置系統來添加“本機”高吞吐量執行。

分片系統的關鍵特性是什么？權衡是什么？

分片的主要目標是盡可能地復制傳統區塊鏈最重要的安全屬性，而無需每個節點親自驗證每筆交易。

分片正在非常接近到來。在傳統的區塊鏈中：

無效的區塊無法通過，因為驗證節點會注意到它們無效并忽略它們。

不可用的區塊無法通過，因為驗證節點無法下載它們并忽略它們。

在具有高級安全功能的分片區塊鏈中：

無效的區塊無法通過，因為：

欺詐證明會迅速將其捕獲，并告知整個網絡該區塊的不正確性，并嚴重懲罰創建者，或者

ZK-SNARK證明是正確性，并且您不能為無效區塊制作有效的ZK-SNARK。

不可用的區塊無法通過，因為：

如果只有不到50％的數據區塊可用，則幾乎可以肯定每個客戶端都會進行至少一次數據可用性樣本檢查，從而導致客戶端拒絕該數據塊，

如果至少有50％的區塊數據可用，那么實際上整個區塊都是可用的，因為僅需一個誠實節點即可重建其余區塊。

沒有分片的傳統高TPS鏈無法提供這些保證。多鏈生態系統無法避免攻擊者選擇一條鏈進行攻擊并輕易接管的問題。

側鏈高度依賴于實現，但是它們通常容易面臨傳統高TPS鏈的弱點或多鏈生態系統的弱點）。分片鏈避免了這些問題。

但是，分片系統中有一些隱患。尤其：

僅依賴于委員會的分片鏈很容易受到適應性對手的攻擊，并且問責制也較弱。也就是說，如果對手能夠實時入侵他們選擇的任何節點集合，那么他們只需要攻擊少量節點即可破壞一個委員會。此外，如果對手確實破壞了一個委員會，則只能公開確認他們的少數節點參與這個攻擊，因此只有少量質押會受到處罰。這是為什么數據可用性采樣與欺詐證明或ZK-SNARK一起成為隨機采樣技術的重要補充的另一個關鍵原因。

僅當有足夠數量的在線客戶端集體收集足夠的數據可用性采樣請求時，數據可用性采樣才是安全的，這些響應幾乎總是重疊以構成至少50％區塊。在實踐中，這意味著必須有幾百個客戶端在線。這是一個few-to-N信任模型?——通常非常值得信賴，當然，它不如非分片鏈中的節點具有可用性的N-of-N信任那么強大。

如果分片鏈依賴于欺詐證明，那么它依賴于時序假設；如果網絡太慢，則在欺詐證明顯示它是錯誤的之前，節點可能會接受某一個區塊具有最終性。幸運的是，如果您遵循嚴格的規則，一旦發現了無效性，就會還原所有無效塊，此閾值是用戶設置的參數：每個用戶都選擇等待達到最終狀態所需的時間，如果他們不想等待足夠長的時間，則會遭受損失，但更謹慎的用戶是安全的。即使如此，這仍在削弱用戶體驗。使用ZK-SNARK驗證有效性可以解決此問題。

需要傳遞大量的原始數據，從而增加了極端網絡條件下發生故障的風險。與大量數據相比，少量數據更容易發送。如果區塊鏈瀏覽器想要保留整個鏈，則需要存儲更多數據。

分片的區塊鏈依賴于分片的點對點網絡，并且每個單獨的p2p“子網”由于具有較少的節點而更容易受到攻擊。用于數據可用性采樣的子網模型?可以緩解這種情況，因為子網之間存在一些冗余，但仍然存在風險。

這些是有效的關注點，盡管在我們看來，通過允許更多應用程序在鏈上運行而不是通過集中式第2層服務來實現的用戶級別集中化的減少，遠遠超過了它們。也就是說，這些問題，特別是最后兩個問題，實際上是對增加分片鏈的吞吐量超過特定點的真正限制。二次分片的二次性是有限度的。

順便說一句，如果吞吐量過高，則分片區塊鏈的安全風險將日益增大，這也是很大程度上放棄了擴展至超二次分片的努力的主要原因。好像保持二次分片只是二次真的是快樂的媒介。

為什么中心化生產和分片驗證？

經常提出的一種替代分片的方法是，使用類似于中心化高TPS鏈的結構，除了它在頂部使用數據可用性采樣和分片以驗證有效性和可用性之外。

如今，中心化高TPS鏈在這方面有所改善，但仍比分片系統弱得多。這是出于以下幾個原因：

在高TPS鏈中，要檢測區塊生產者的審查要困難得多。審查檢查需要能夠查看每筆交易并驗證沒有明顯值得加入的交易，而該交易莫名其妙地無法進入，或者在區塊生產者中具有N分之一的信任模型，并且在中心化高TPS鏈中，是不可能的，而則更困難，因為節點數少，甚至1ofN信任模型都更容易被破壞，并且如果該鏈的區塊時間對于DAS來說太快，則很難證明節點的區塊不會僅僅因為它們的發布速度太慢而被拒絕。

如果大多數區塊生產者和生態系統成員試圖強制執行不受歡迎的協議更改，則用戶的客戶肯定會檢測到它，但是社區反抗和分叉的難度要大得多，因為他們需要旋轉一套新的昂貴的高吞吐量節點，以維持遵守舊規則的鏈條。

中心化基礎架構更容易受到外部參與者的審查。區塊生產節點的高吞吐量使其非常易于檢測，并且更易于關閉。審查專用的高性能計算在上和后勤上比在單個用戶的筆記本電腦上進行審查要容易得多。

高性能計算向中心化云服務轉移的壓力更大，增加了整個鏈將在1-3家公司的云服務中運行的風險，因此，由于許多區塊生產者同時失敗，導致鏈崩潰的風險更大。那些在自己的硬件上運行的驗證者的分片鏈不會那么容易受到這種攻擊。

適當分片的系統最好作為基礎層。對于一個分片的基礎層，您可以將其構建為Rollup，始終能夠創建一個中心化生產系統。但是，如果您有一個依賴于中心化區塊生產的基礎層，則不能在上面構建一個更加去中心化的Layer2。

Tags：區塊鏈以太坊NARARK玩區塊鏈的都是什么人西格瑪幣兌換以太坊公告SONAR幣quark

SAND