分布式存儲是2020年區塊鏈行業最熱門的主題之一,該領域除了最熱門項目
IPFS/Filecoin主網10月上線帶來整個分布式存儲行業熱度和流量快速上升,另外賽道也涌現出很多新的分布式存儲項目,包括波卡生態分布式存儲項目CrustNetwork、永久存儲區塊鏈項目Arweave緊隨IPFS步伐也推出各自的主網,這些存儲新星和老牌分布式存儲項目Storj、Sia一起,共同為區塊鏈分布式存儲生態貢獻力量,擴大分布式存儲的生態版圖。
作為一種分布式的信息基礎設施,區塊鏈分布式存儲系統通過將文件或文件集存儲在不
同的存儲空間比如硬盤上,在鏈上同時生成文件存儲確權證明,通過激勵機制來激勵存儲空
間的提供方,區塊鏈分布式存儲在數據隱私、透明度、確權方面相比傳統云存儲都具有優勢,
加上數據存儲市場本身天花板高,賽道從長期看具有足夠的想象力,分布式存儲也是區塊鏈
圈內外都普遍關注的方向,成功捕獲了大量圈外流量,基于區塊鏈的分布式存儲項目贏得了
密切關注,傳統行業和資本已經通過直接投資或者間接的方式加入到分布式存儲陣營的角逐
中。
??海量非結構化數據存儲的技術挑戰
隨著社交網絡、移動互聯網和物聯網的興起,互聯網信息爆炸式增長產生了海量數據,
數據量級也從最初的GB、TB逐漸發展到PB、EB甚至更高。數據類
型從簡單的文本擴展到了復雜高維度數據,比如半結構化數據、圖片數據、視頻數據、傳感
器數據和流數據等。
根據研究機構IDC預測,2018年到2025年之間,全球產生的數據量將會從33ZB增
長到175ZB,復合增長率達到27%,其中超過80%的數據都會是處理難度較大的非結構
美國利率期貨定價美聯儲11月有可能加息:金色財經報道,美國數據公布后,美國利率期貨定價美聯儲11月有可能加息。[2023/7/6 22:22:06]
化數據。預計到2030年全球數據總量將進一步達到3,5000EB。
海量非結構化數據帶來的存儲挑戰主要在于如果采用傳統集中式存儲的Scale-Up的擴
展方式,這種縱向擴展架構處理海量數據環境中會存在擴展成本高、耗時長、難度大的問題,
性能與容量無法靈活擴展,造成擴容成本較高。
而采用Scale-Out架構,通過分布式接入技術將獨立的低成本存儲節點組成一個大而強
的存儲系統。通過添加存儲節點來進行處理和存儲能力的擴展。目前的云存儲系統也是通過
分布式接入擴展儲存容量已經可以達到PB級,每增加一個存儲節點,性能和容量同時增長,大大降低了存儲系統采購、部署和升級的成本。
于區塊鏈的分布式存儲的優勢
傳統云存儲基于「分布式文件系統」存儲文檔、圖像、視頻等非結構化數據。典型的分
布式文件存儲系統像Google的GoogleFileSystem。GFS是Google分布式存儲的基
石,是構建在廉價服務器之上的大型分布式系統。GFS的基本架構如下圖
GFS系統包含三類節點角色:GFSMaster、GFSChunkServer(CS,數據
塊服務器)以及GFS客戶。主控服務器中維護系統元數據,包括文件及chunk命名空間、
文件到chunk之間的映射、chunk位置信息。主控服務器是性能最好的節點之一,很少有性
能瓶頸,還存在備份服務器節點作為主服務器的鏡像。
雖然這種存儲系統將數據分散存儲在多個存儲節點實現較好擴展性,但因為元數據被保
數據:比特幣長期持有者的積累距歷史最高水平僅差兩萬個比特幣:金色財經報道,根據加密貨幣分析公司Glassnode的數據,近兩年來,長期持有者一直在逐漸積累比特幣(BTC)。長期持有者在過去602天里已經積累了101萬個比特幣,使該群體的總供應量達到1447萬個比特幣,距離歷史最高水平僅差2萬個比特幣。[2023/7/5 22:18:54]
存在中心節點。在存儲和讀取數據時,都需要訪問中心節點來獲取元數據信息,也存在一些
弊端,比較明顯的問題包括:
??元數據安全問題
如果中心節點發生故障或宕機,那么元數據無法被讀取。雖然,通過引入備份節點可以
一定程度上避免該問題,但節點之間切換效率較低;云數據中心因為各種問題經常出現運行
故障或數據丟失泄露等情況。
信任問題
存儲元數據的節點可信性很難保證,元數據存在被篡改的可能性,中心節點由各大云存
儲機構獨立管理和運營,數據的可靠性和安全性完全依賴該機構的實力和信譽。如何保證用
戶數據不被竊取使用,存儲運營商難以保證。
區塊鏈是一個分布式賬本數據存儲技術,使用P2P網絡、加密算法、數據存儲等要素共
同組成整個分布式賬本,通過激勵系統促使網絡成員積極廣播區塊并進行數據維護,每一個
參與區塊鏈運行的節點都可以復制一份完整的數據拷貝。除非有人能夠同時控制住整個區塊
鏈中的51%以上的節點,否則單個節點的數據篡改系統不會承認,這就確保了數據的不可篡
改。區塊鏈用冗余存儲保障了分布式存儲系統的一致性與安全性。
從存儲角度,區塊鏈存儲構建成一個規模巨大的全球統一、全球共享的存儲池,將數據
Lido社區已開啟關于批準授權成立金庫管委會的提案投票:4月21日消息,Snapshot投票頁面顯示,Lido社區于今日凌晨開啟關于批準DAO資金管理原則并授權成立金庫資金管理委員會的提案投票,目前支持率為99.12%,投票將于4月28日結束。
提議的金庫管理原則包括ETH是Lido DAO的主要賬戶單位、Lido DAO的資金是協議彈性和未來增長的源泉,可以資助進一步實現協議去中心化和網絡安全目標的計劃;在任何情況下都應將金庫資金的損失風險降至最低;所有金庫ETH必須質押在Lido;LDO持有者擁有最終發言權。[2023/4/21 14:18:20]
分散在多處,來增強數據的可靠性、可用性、異地容災性等特性。不同于分布式云存儲有專
門的備份節點負責數據冗余,區塊鏈所有的參與節點參與冗余存儲。讓存儲成為區塊鏈技術
的最佳落地應用場景。對于非代碼和線下的事物,應用區塊鏈的難度會很大。企業級數據中
心面臨可靠性不足時,有人探討將數據分布在多個數據中心,即把數據存儲到全球上千萬個
節點上來提高數據的安全可靠性,拜托單個數據中心被黑客攻擊而出現的數據泄露問題。
目前已經發展出四類存儲:桌面級存儲、企業級存儲、云存儲(數
據中心)和區塊鏈存儲。與企業級存儲、云存儲相比,基于區塊鏈分布式存儲的優勢主要體
現在以下方面:
可靠性更高,區塊鏈存儲將數據存儲到成千上萬個節點上,不是傳統分布式存儲的多副本模式,而是冗余編碼,可以有效避免單點故障問題,比特幣運行10年以來其分布式
賬本數據庫未被任何黑客攻破就是最好的可靠性證明。
??可用性更高,云存儲即使采用多節點分布式存儲方式,仍然可能出現因為節點宕機
或者中心節點負載過高故障問題而出現無法提供服務的情況,區塊鏈只需要保證一定比例的
香港立法會議委員邱達根:法例更新、行業監管等是香港有序合規投入Web3進程的下一步工作:4月12日消息,在2023 香港 Web3 嘉年華上,香港特別行政區立法會議委員邱達根在發表主旨演講時表示,香港在 Web3 方面的舉措是一個非常重要的時刻,Web3 行業的技術與政策需要齊頭并進,以此建立一個更好的經濟系統。過去幾個月,香港政府從宣布支持虛擬資產、到對穩定幣咨詢工作的完成,行動是非常快的。另外今年 6 月份將正式引入虛擬資產服務供應商發牌制度,目前已經發放了兩個牌照。關于香港如何有序、合規地投入 Web3 的發展進程,下一步工作將是法例更新、行業監管、投資者保護和企業管治。
另外,“十四五規劃綱要”確立香港作為國際創新科技中心,要素包括貨幣國際影響力、科技自立自強和人才引領驅動,香港將配合國家發展策略,方向一為:聯通數字人民幣,發展數碼港元和虛擬資產服務;方向二為:提升科研轉化,深入上游科技研發,分布式賬本技術的創新應用;方向三為推出人才服務計劃,多方面引入科技人才等。[2023/4/12 13:58:30]
節點數量正常,系統服務就是可用的。
??邊緣存儲成本更低,區塊鏈將存儲成本分攤到邊緣節點,相對搭建獨立的數據存儲
中心對硬件的需求和成本都更低。
??加密隱私性更高,中心化存儲最終數據加密流程在企業內部完成。區塊鏈存儲數據
都經過加密,沒有明文數據,加密過程由數據擁有者用戶自己完成,只要用戶保存好加密密
鑰,就無法被第三方竊取到數據隱私。
分布式存儲和區塊鏈天然具有一定匹配性,兩者都基于分布式系統。分布式存儲作為鏈
下存儲方案可以擴展區塊鏈存儲空間效率低的問題,比如可以將核心的交易元數據和實際數
據進行分離存儲而非全鏈上存儲,緩解鏈上賬本空間膨脹的問題,元數據加密后存儲鏈上,
張藝謀旗下元宇宙公司“當紅齊天”完成B++輪融資,網易參投:1月1日消息,近日,張藝謀持股并擔任聯合創始人的當紅齊天的B++輪融資,融資額未知,網易通過網易傳媒科技(北京)有限公司參與本輪投資。
官網顯示,當紅齊天致力于打造包括XR等技術在內的沉浸式體驗,以“成為偉大的元宇宙文化科技公司”為愿景。去年10月,當紅齊天宣布完成數億元B輪融資,小米戰投、建銀國際領投,野草創投、聯想創投參投;今年2月,當紅齊天宣布完成B+輪融資,投資方包括拉卡拉以及藍色光標作為基石投資人發起設立的藍圖海興基金。(界面新聞)[2023/1/1 22:19:32]
實際數據本身通過分布式存儲避免單一節點故障造成數據丟失問題,分布式存儲可以優化區
塊鏈的存儲效率,釋放鏈上存儲空間存儲更關鍵信息,同時又不影響區塊鏈處理大數據時的
可用性。
IPFS?分布式存儲和挖礦激勵
星際文件系統由協議實驗室創始
人JuanBenet提出,通過不同的設備連接建立一個「分布式文件系統」,使用「內容尋址」
18
方法將大文件分拆為數據塊對象來提高存儲效率,每個文件塊通過對應塊內容的哈希值索
引,建立全局的分布式散列表,通過MerkleDAG樹數據結構
組織這些分散的文件塊的哈希索引,將存儲在樹根節點位置的索引作為文件尋址哈希值。
IPFS結合了DHT、MerkleDAG、版本控制Git、自驗證系統SFS,在點對點網絡進行去
中心化的數據存儲和交換,可以由用戶自主設置數據訪問和讀寫權限而不依賴信任主體,不
存在單點故障問題,上傳到IPFS上的數據不可更改,數據變更將生成新的IPFS對象,并鏈接到之前的對象版本這種基于Git的版本管理可以很方便追蹤數據更新情況。另外IPFS產品擁有類似TCP/IP一樣的協議簇,可以同樣按分層模型對IPFS產品分層,包括八層,產品每層功能都使用不同的協議。
????????????????????????????IPFS文件系統的主要技術
??????????????????????????????IPFS系統協議棧
總結來說,IPFS提供了在沒有中心化服務器的前提下搭建一個全新的web網頁的可能
性,只要節點貢獻存儲和計算資源來成為IPFS節點,就能實現這點,其本質是一個P2P的
內容分發網絡,不同于HTTP的中心化分發模式,沒有中心化問題,所以它一直被對標HTTP
致力為成為下一代互聯網協議,但是IPFS要實現這個目標挑戰非常大,在分布式環境下數
據存儲可用性很大程度來自數據冗余備份,取決于節點積極存儲備份,如果節點刪除數據,
數據甚至可能出現丟失情況。
為了解決IPFS節點數量有限而影響網絡性能的問題,協議實驗室2017年發起Filecoin
項目,作為IPFS的激勵層,模仿的是比特幣的區塊鏈激勵模型,不同的是Filecoin挖礦放棄耗能的PoW(Proofs-of-Work),而是創建新的存儲證明挖礦算法,即基于有效存儲證明的復制證明和時空證明,基于存儲挖礦的方式來激勵存儲節點在IPFS網絡上貢獻資源,礦工提供的有效存儲空間并存儲有效數據容量越大,最后獲得挖礦獎勵概率也越大,Filecoin的挖礦模式相比起來更環保、
效率也更高。Filecoin主網已經于2020年10月正式上線,從Filecoin官方區塊鏈瀏覽器之一Filfox獲取到的數據,目前全網存儲算力已經達到1.85EB,算力前十的節點存儲能力都是PB級別,算力占比分布來看,網絡去中心化程度不低,活躍礦工節點數1059,礦工數量還不夠多,尤其從區域分布看主要集中在亞洲國家,很多區域顯示海外的可能也是VPN的影響;Filecoin主網目前區塊高度達到404049,平均出塊時間30s,另外Filecoin挖礦和其他PoW區塊鏈項目提現出明顯差異化的特征是它的質押挖礦,節點需要為有效算力提供FIL質押才能獲得「挖礦權」,目前每個扇區大小32G需要質押0.27FIL,每新增1T算力,質押成本增加12.46FIL,從目前挖礦產出看,相當于43.4%的流通量是鎖定狀態,由于Filecoin總供應20億,其流通率目前僅3.4%,隨著更多的FIL進行流通,項目生態市值變化可能比較快。另外Filecoin目前網絡運行的過程中也遭遇了網絡Gas費率的問題,比如持續一段很長的時間費率達到4-6nanoFIL,Filecoin引進以太坊EIP1559案將Gas分為基礎和附加兩部分,基礎部分會直接銷毀,加速FIL的通縮,附加部分才會獎勵打包礦工,而從目前的情況當Gas費率較高時,由于基礎部分占比較高Filecoin礦工挖礦收益扣除支付的Gas可能會導致收益下降甚至為負的情況,而Gas費高企的背后是Filecoin在Gas費率設置了類似比特幣挖礦那樣的難度調整,Filecoin礦工挖礦過程即封裝數據并將消息上鏈都會涉及Gas費用支付的問題。隨著加入Filecoin網絡的礦工數量上升,不光挖礦收益已經從0.25FIL/TiB下降到目前的0.13FIL/TiB,由于目前處理的交易消息大概每秒14筆,可能低于實際需求量,也是導致礦工Gas費率的上升的原因。Gas費持續高位將不利于礦工提高算力參與網絡,協議實驗室最近也是在FIP-9方案中加入提交時空證明階段免除礦工基礎費用的新政策來降低礦工Gas壓力。
???????????????????????????Filecoin網絡情況
????????????????????????Filecoin礦池算力排行榜
Filecoin網絡出現Gas費較高情況
總體來看,目前Filecoin區塊鏈目前還處在礦工如何通過提高有效算力來挖礦的階段,
并沒有在「為用戶提供低成本高效存儲服務」上有很多的動作,礦工和官方之間幾乎不可避
免經常陷入博弈的狀態。如果從Filecoin網絡效用而言,協議實驗室從一開始就非常排斥礦工犧牲網絡來為自身牟利的各種行為,所以設置各種處罰機制,硬是把節點挖礦變成了一項復雜困難的生意,礦工如果不留意違規可能面臨出局的風險,因為Filecoin挖礦并不像比特幣那樣自由。Filecoin礦工未來的收益當然可以不僅僅來自存儲挖礦獎勵,比如還有Gas手續費收入、檢索收入,但目前階段在FIL幣價穩定在可觀的水平上,努力封裝數據提高算力才是王道,可隨著更多的玩家進入,算力收益一定會下降,算進其他成本項,FIL挖礦沒有那么多「暴富神話」,如果要繼續留守在賽道,就需要真正考慮能提供真正的商業價值,FIL挖礦不能當純金融來玩,目前官方在算力增長方面明顯開始傾向用戶存儲訂單的數據,網絡公開驗證人作為「數據質量檢察官」,這樣的數據在礦工算力貢獻方面就是十倍的增長。另外從未來幾年的發展目標,Filecoin目前的挖礦算法在性能方面不能匹配大量數據存儲和檢索的需求,需要調整來滿足未來檢索市場的發展,所以下階段可能在會封裝數據環節進行新的算法迭代來提高礦工提交證明消息的速度。Filecoin生態的構建對于項目成功也是非常關鍵,以太坊和波卡的成功基礎都在于生態,目前Filecoin作為一條存儲公鏈,而不是計算公鏈,后面也要上線自己的智能合約,如何結合自身定位來發展生態也是接下來項目進展的重要方向。
??小結
面對未來海量高并發的數據存儲和計算需求,分布式存儲是當下重要的發展趨勢之一,
傳統的分布式文件存儲方式仍然存在單點信任問題,基于區塊鏈的分布式存儲在可靠性、可
用性、成本和數據隱私方面具有優勢,這方面像IPFS/Filecoin通過將比特幣的工作量證明激勵模型模式遷移到提供數據存儲服務的場景,設計了新的挖礦機制來保障區塊鏈存儲網絡的安全,另外像CrustNetwork、Arweave、Storj、Sia這些分布式存儲賽道的項目也都從不同的角度來發展分布式存儲,體現一定的差異化,回到商業本質,未來分布式存儲項目的競爭力一定體現在用戶數量和存儲生態建設上。
來源:金色財經
???心態比策略重要,策略比技術重要,技術比運氣重要,選擇一個好的分析師不如選擇一個為你著想的分析師.
1900/1/1 0:00:00鳳雛悟幣:3.13比特幣行情走勢解析比特幣最高上探581150美元水平之后,動力開始有所不足,開始橫盤震蕩運行,目前在56500美元水平進行調整.
1900/1/1 0:00:00比特幣多空雙爆,玩炸心態,今晚行情又該如何上車?月有陰晴圓缺,行情有漲有跌,多空都是行情,把握趨勢才能贏,比特幣日線連續收陽,多頭趨勢強勁,今日凌晨3點行情繼續上行,突破昨日新高.
1900/1/1 0:00:00“區塊鏈技術作為一種新興技術,從開始到現在,再到未來,都處于業內外廣泛的一個大熱門趨勢。”國雄資本有限公司創始人兼董事長姚尚坤對《證券日報》記者表示,現在,我們的經濟產業和國家通過建立和完善區塊.
1900/1/1 0:00:00消息面,美國瘋狂印錢發錢刺激經濟。美國政府周五開始發放首批拜登疫情紓困法案下1400美元的補助金,一些美國人本周末即可收到錢。經濟學家預計,這有望在未來幾個月助力美國經濟復蘇.
1900/1/1 0:00:00不求做的最好,但求做的更好。冰凍三尺,非一日之寒。智者千慮,必有一失;遇者千慮,必有一得。上有天,下有地,中間站著你自己,做人事,聽天命.
1900/1/1 0:00:00