原文來自:ModulusLabs
編譯:DeFi之道
很高興終于可以與你們分享我們的第一篇論文,該論文是通過以太坊基金會的資助完成的,它的名稱是《TheCostofIntelligence:ProvingMachineLearningInferencewithZero-Knowledge?》(或paper0,這是酷孩子們的叫法)。
沒錯,這些都是真數字!有圖表!論文還討論了理論結構及其對性能的影響!事實上,paper0是第一個跨通用AI原語套件對ZK證明系統進行基準測試的研究工作,你現在就可以閱讀整篇論文。
而這篇文章,你可以將其視為論文的總結,有關詳細信息,請參閱原論文。
事不宜遲,讓我們深入了解:
Paper0:我們的調查要點
事實上,計算的未來將大量使用復雜的人工智能。看看我的文本編輯器:
孫宇晨:中國對擁抱Web3.0技術的承諾反映了其認識到區塊鏈解決方案變革潛力方面邁出的重要一步:5月27日,北京市科學技術委員會、中關村科技園區管理委員會在中關村論壇期間發布了《北京市互聯網3.0創新發展白皮書(2023)》。該文件認為,互聯網3.0是現代科學技術的集大成者,是未來互聯網產業發展的必然趨勢。
幣安創始人CZ在推特上轉發相關信息并評論,北京市科技委員會發布了一份有關Web 3.0的白皮書,與此同時,中國香港也在期待6月1日的到來。他認為這兩件大事接連發生,時間點上很有趣。
波場TRON創始人、火必Huobi全球顧問委員會成員孫宇晨轉發了CZ的推特同時表示,“特別是考慮到即將到來的6月1日的中國香港加密新政生效,中國對擁抱Web 3.0技術的承諾反映了其在認識到去中心化系統和基于區塊鏈的解決方案變革潛力方面邁出的重要一步。”[2023/5/28 9:47:03]
Notion的提示告訴我,他們的LLM可以讓這句話變得更好
然而,鏈上不存在功能性神經網絡,甚至連最小的推薦系統或匹配算法都不存在。真見鬼!甚至連實驗也沒有一個……當然,原因是非常明顯的,因為這太貴了,畢竟,即使運行價值數十萬FLOP的計算的成本也是數百萬gas,目前相當于數百美元。
律師:Ripple或根據訴訟結果考慮與美SEC達成新的和解條款:5月2日消息,對Ripple持友好立場的律師John Deaton表示,Ripple可能會根據正在進行的訴訟結果考慮新的和解條款。Deaton指出,可能達成的和解條款將取決于法院裁決的具體內容。關鍵的考慮因素包括Coinbase和Kraken等主要加密交易所是否會立即將XRP重新上線,還是等待美國SEC可能的上訴,以及Ripple的合作伙伴美國銀行是否會對這一決定感到滿意,或者等待Torres法官的裁決在美國SEC上訴的情況下被推翻。
Deaton還提到了一種假設情況,即如果Ripple支付5000萬美元的和解金,并得到保證,未來XRP的銷售不會被視為證券,那么SEC將同意不上訴。然而,如果Torres法官的決定對Ripple有利,并在不讓企業擔心美國SEC影響的情況下恢復美國市場的流動性,Ripple可能更傾向于放棄和解。(U.Today)[2023/5/2 14:38:43]
那么,如果我們想將AI范式帶入無需信任的世界,我們該怎么做?我們會翻車,然后放棄嗎?當然不是…等等!Roll-over)……Giveup……
美SEC指控Hydrogen代幣空投涉嫌操縱市場,獲利超200萬美元:9月29日消息,據美國SEC官網顯示,美國證券交易委員會(SEC)指控Hydrogen與做市商Moonwalkers涉嫌操縱市場以及未注冊的證券發行,獲利超200萬美元。其中Hydrogen在2018年通過賞金計劃和空投分發了其Hydro代幣,同時還通過其交易平臺直接向用戶銷售代幣,期間Hydrogen CEO聘請了Moonwalkers來進行代幣的對敲交易(Wash Trade),制造了一種市場活躍的假象,穩定了代幣的價格,增加了用戶的興趣。
此外,SEC表示,Wash Trading的行為既構成了市場操縱,同時盡管避免了ICO,轉而進行空投和漏洞賞金,但仍構成未注冊的證券發行。[2022/9/29 22:38:49]
如果像Starkware、MatterLabs和其他公司這樣的Rollup服務,正在使用零知識證明來大規模擴展計算,同時保持密碼學安全,那么我們能為AI做同樣的事情嗎?
這個問題成為推動我們在paper0中工作的激勵種子。劇透警報,以下是我們發現的:
經濟學家預測美聯儲下周加息75基點 然后放慢加息步伐:7月22日消息,接受彭博調查的經濟學家稱,美聯儲主席鮑威爾下周連續第二次加息75個基點之后,可能放慢加息步伐。他們預計,接下來美聯儲將在9月加息50基點,然后在剩余兩次會議上均加息25個基點。這將使利率上限到2022年底升至3.5%,為2008年初以來的最高水平。美聯儲將在23年初再加息25個基點,使利率達到3.75%的峰值,然后將停止加息并在年底前開始降息。此外,預計美聯儲最終將加快縮減資產負債表,最終達到每年1.1萬億美元。到年底,資產負債表規模將降至8.4萬億美元,到24年12月將降至6.5萬億美元。(金十)[2022/7/22 2:32:08]
“現代ZK證明系統的性能越來越高,并且越來越多樣化。它們已經可以支持成本在某種程度上是合理的人工智能操作。事實上,有些系統在證明神經網絡方面比其他系統好得多。然而,所有這些仍然達不到實際應用所需的性能,并且對于神奇的用例來說是嚴重不足的。換句話說,如果不進一步加速用于AI操作的ZK系統,用例就會非常有限。“
paper0總結
這是眾所周知的秘密:AI性能幾乎總是與模型大小成比例。這種趨勢看起來也沒有放緩。只要這種情況仍然存在,對于我們這些web3中的人來說,這將是特別痛苦的。
烏干達聲稱勘探調查發現了3100萬公噸黃金礦石:金色財經消息,雖然黃金通常被認為是一種稀缺資產,但烏干達周三解釋說,最近進行的勘探調查表明,該地區大約有3100萬公噸金礦石等待開采。此外,烏干達能源和礦產開發部的一位發言人表示,估計有320,158公噸精煉黃金可用。[2022/6/19 4:37:44]
畢竟,計算成本是我們最終、不可避免的噩夢來源。
今天的ZKP已經可以支持小模型了,但中型到大型模型打破了范式
基準:實驗設計
對于paper0,我們關注任何零知識證明系統中的2個基本指標:
證明生成時間:prover創建AI推理的伴隨證明所需的時間,以及
prover內存使用峰值:證明者在證明期間的任何給定時間用于生成推理證明的最大內存;
這主要是一個實際的選擇,并且是從我們構建Rockybot的經驗中做出的。此外,所有測量都是針對證明生成時間進行的,并且沒有考慮預處理或witness生成。
當然,還有其他方面的成本需要跟蹤。這包括驗證者運行時間和證明大小。我們將來可能會重新審視這些指標,但將它們視為paper0的范圍之外。
至于我們測試的實際證明系統,通過投票,我們選定了6個:
Paper0測試的證明系統匯總表,以及協助我們的作者
最后,我們創建了兩套用于基準測試的多線性感知器——值得注意的是,MLP相對簡單,主要由線性運算組成。這包括一套隨著參數數量增加而擴展的架構,以及第二套隨著層數增加而擴展的架構。如下表所示,每個套件都測試了證明系統以不同方式擴展的能力,并大致代表了從LeNet5到ResNet-34的知名深度學習架構的規模。
參數和深度基準套件
結果:迅如閃電
對于以上6個證明系統的參數和深度范圍的證明生成時間結果
對于以上6個證明系統的參數和深度范圍內的峰值內存結果
有關這些結果的完整內容,以及對每個系統內瓶頸的深入分析,請參閱paper0的第4節。
用例和最終要點
好吧,以上是一些非常簡潔的圖表,而以下則是要點:
“在證明時間方面,Plonky2是迄今為止表現最好的系統,因為它使用了基于FRI的多項式承諾和Goldilocks域。事實上,對于我們最大的基準架構,它比Halo2快3倍。然而,這是以prover內存消耗為顯著代價的,Plonky2的性能始終較差,有時會使Halo2的峰值RAM使用量翻倍。在證明時間和內存方面,基于GKR的zkCNNprover似乎最適合處理大型模型——即使沒有優化的實現。”
那這在實踐中究竟意味著什么?我們將重點介紹2個示例:
1、Worldcoin:Worldcoin正在構建世界上第一個“隱私保護身份證明協議”,換句話說,通過將身份驗證與一種非常獨特的生物特征聯系起來來解決女巫攻擊問題。這是一個瘋狂的想法,它使用卷積神經網絡來壓縮、轉換和證明存儲的虹膜數據。雖然他們當前的設置涉及orb硬件中安全飛地內的可信計算環境,但他們希望改為使用ZKP來證明模型的正確計算。這將允許用戶對自己的生物特征數據進行自我保護,并提供加密安全保證。
現在具體一點:Worldcoin的模型具有180萬參數和50層。這是區分100億個不同虹膜所必需的模型復雜性。哎呀!
雖然在計算優化的云CPU上證明Plonky2等系統,可以在幾分鐘內為這種規模的模型生成推理證明,但證明者的內存消耗將超過任何商用移動硬件。
事實上,沒有一個測試系統能夠在移動硬件上證明這個神經網絡……
2.AIArena:AIArena是一款類似于《任天堂明星大亂斗》風格的鏈上平臺格斗游戲,其具有一個獨特的特點:玩家并不是操作化身實時進行對抗,而是讓玩家擁有的AI模型相互競爭和戰斗,是的,這聽起來很酷。
隨著時間的推移,AIArena的出色團隊正努力將他們的游戲轉向一個完全無需信任的錦標賽計劃。但問題是,這涉及驗證每次游戲數量驚人的AI計算的挑戰。
比賽以每秒60幀的速度運行,持續3分鐘時間。這意味著每輪比賽,兩個玩家模型之間的推理結果超過20000個。以AIArena的一個策略網絡為例,一個相對較小的MLP需要大約0.008秒來執行一次前向傳遞,使用zkCNN證明該模型需要0.6秒,即,每采取一次動作就需要增加1000倍的計算。
這也意味著計算成本將增加1000倍。隨著單元經濟對鏈上服務變得越來越重要,開發人員必須平衡去中心化安全的價值與證明生成的實際成本。
https://aws.amazon.com/ec2/pricing/
無論是上面的例子,ZK-KYC,DALL-E風格的圖像生成,還是智能合約中的大型語言模型,ZKML的世界中都存在著一個完整的用例世界。然而,要真正實現這些,我們強烈認為ZKprover仍需要大量改進。特別是對于自我完善的區塊鏈的未來。
那么,我們該何去何從?
我們有具體的表現數據,我們知道在證明神經網絡時哪些技術往往表現最好。當然,我們開始發現各種用例,這些用例激勵了我們不斷成長的社區。
我想知道接下來會發生什么……
很快就會為你們提供更多更新;)
Tags:SECPAPPAPERAPEisechainPAPR幣ToiletPaper.FinanceOrder of the apeverse
1月24日,Sui基金會公布了首輪獲得開發者資助計劃資助的12個項目,每個項目獲得?2萬美元到7.5萬美元不等的獎金,總計發放了?415,000美元.
1900/1/1 0:00:00原文:Daesu 翻譯:雙木 編輯:Biteye核心貢獻者Crush2023年開始火熱,Defi敘事正在變革,讓我們看看發生了什么。 流動性衍生品 盡可能多地抵押ETH是2023年的主要目標.
1900/1/1 0:00:00金色財經報道,摩根大通首席執行官杰米·戴蒙(JamieDimon)在接受CNBC財經節目SquawkBox時表示,比特幣供應不會真正限制在2100萬枚.
1900/1/1 0:00:00目前,市面上基于GLP的真實收益而搭建的DeFi項目至少有5-10家,爭奪GLP的競爭格局逐漸豐富.
1900/1/1 0:00:00作為Gambit和GMX最早的用戶之一,PANews作者經歷了GMX從默默無聞到被大家熟知的過程,但迄今為止,市場上仍然存在對GMX的大量誤解.
1900/1/1 0:00:00一個月市值翻倍,GainsNetwork憑什么單日營收打敗GMX?Gains.Network發布的gTrade是一個基于Polygon的去中心化永續合約交易所.
1900/1/1 0:00:00