原文作者:Yuxing
本文僅供交流學習,不構成任何投資建議。
ChatGPT和GPT-4的火熱,讓我們看到了人工智能的力量。人工智能背后,除了算法以外,更重要的是海量的數據。圍繞數據,我們已經構建了一個大規模的復雜系統,該系統的價值主要來自于商業智能和人工智能。由于互聯網時代數據量的快速增長,數據基礎設施的工作和最佳實踐也在飛速地發展。這兩年,數據基礎設施技術棧的核心系統已經非常穩定,支持工具和應用也在快速增長。
Web2數據基礎設施架構
云數據倉庫正在迅速增長,主要關注SQL用戶和商業智能用戶場景。其他技術的采用也在加速,數據湖的客戶增長速度前所未有,數據技術棧中的異質性將共存。
其他核心數據系統,如數據獲取和轉化,已經證明同樣耐久。這在現代數據智能領域特別明顯。Fivetran和dbt的組合幾乎隨處可見。但在一定程度上,在業務系統中也同樣如此。Databricks/Spark、Confluent/Kafka和Astronomer/Airflow的組合也開始成為事實標準。
a16z
其中,
數據源端生成相關商務和業務數據;
數據抽取和轉換負責從業務系統中抽取數據、傳輸到存儲、對齊數據源和目的地之間的格式以及將分析過的數據根據需求送回業務系統;
數據存儲將數據按照可以查詢和處理的格式存儲,需要朝低成本、高可擴展性和分析工作量進行優化;
查詢和處理將高級編程語言翻譯成低端數據處理任務。根據存儲數據,使用分布式計算執行查詢和數據模型,包括歷史分析和預測分析;
轉換將數據轉換成分析可用的結構,管理流程和資源;
分析和輸出是為分析師和數據科學家提供可以溯源洞見和協作的界面,向內部和外部用戶展示數據分析的結果,將數據模型嵌入面向用戶的應用。
隨著數據生態的飛速發展,出現了“數據平臺”的概念。從行業的角度看,平臺的定義特征是有影響力的平臺提供方和大量的第三方開發者能夠在技術上和經濟上相互依存。從平臺的角度看,數據技術棧分為“前端”和“后端”。
“后端”大致包括數據提取、存儲、處理和轉換,已經開始圍繞小部分云服務提供商開始整合。因此,客戶數據被收集在一套標準的系統中,供應商正在大力投資,使其他開發人員可以輕松訪問這些數據。這也是Databricks等系統的基本設計原則,并且通過SQL標準和自定義計算API等系統得到了實現。
“前端”工程師利用這種單點集成來構建一系列新應用程序。他們依賴數據倉庫/湖倉一體中清洗和整合過的數據,而不用擔心它們是如何生成的底層細節。單個客戶可以在一個核心數據系統之上構建和購買很多應用。我們甚至開始看到傳統企業系統,如財務或者產品分析,正在使用倉庫原生的架構進行重構。
隨著數據技術棧的逐漸成熟,數據平臺上的數據應用也隨之激增。由于標準化,采用新的數據平臺變得前所未有地重要,相應地維護平臺也變得極為重要。在規模上,平臺可能非常有價值。現在,核心數據系統供應商之間競爭激烈,這種競爭不僅是為了當前的業務,更是為了長期的平臺地位。如果你認為數據獲取和轉換模塊是新興數據平臺的核心部分,那么對數據獲取和轉換公司的驚人估值也就更容易理解了。
The Sandbox與Cipriani達成合作擬推出“虛擬威尼斯”元宇宙:金色財經報道,元宇宙公司The Sandbox宣布與意大利高端酒店品牌Cipriani達成合作,擬推出具有互動功能的“虛擬威尼斯”元宇宙,例如化裝舞會、時裝秀和音樂會,據悉本次合作還包括重建著名的 Cipriani 華爾街宴會廳以舉辦文化活動。Cipriani將在The Sandbox中購買虛擬地塊,該地塊擬位于 The Sandbox圍繞時尚、媒體和酒店品牌建立的Galleria社區,好社區于2022年12月推出。(animocabrands)[2023/5/25 10:38:35]
然而,這些技術棧的形成是在以大公司為主導的數據利用方式下形成的。隨著社會對于數據的理解加深,人們認為數據與土地、勞動力、資本、技術一樣,都是可市場化配置的生產要素。數據作為五大生產要素之一,其背后體現的正是數據的資產價值。
要實現數據要素市場的配置,目前的技術棧遠遠不能滿足需求。與區塊鏈技術緊密結合的Web3領域,新的數據基礎設施正在發展與演變。這些基礎設施將嵌入現代數據基礎設施架構,實現數據產權界定、流通交易、收益分配和要素治理。這四個領域在政府監管的角度來說非常關鍵,因此需要特別關注。
橙色是Web3所獨有的技術棧單元。由于去中心化技術還處于早期發展階段,目前Web3領域內的大部分應用采用的仍是這種混合數據基礎設施架構。絕大多數應用并不是真正的“超級結構”。超級結構擁有不可停止、免費、有價值、可擴展、無許可、正外部性和可信中立等特征。它作為數字世界的公共物品而存在,是“元宇宙”世界的公共基礎設施。這需要完全去中心化的底層架構來支撐它。
傳統的數據基礎設施架構是根據企業業務發展演變而來的。a16z將其總結為兩個系統和三個場景。這是從企業的視角——數據為企業的發展服務——作出的總結。
政策法規,希望從監管的層面規范數據的使用,促進數據的流通。這包括在日本常見的各種DataBank、在中國最近興起的數據交易所以及在歐美已經廣泛使用的交易平臺,如BDEX、Streamr、DAWEX和CARUSO等等。
當數據開始進行產權界定、流動交易、收益分配和治理時,它們的系統和場景就不僅僅是賦能企業自身的決策和業務發展。這些系統和場景要么需要借助區塊鏈技術,要么強烈依賴政策監管。
Web3是數據要素市場的天然土壤,它從技術上杜絕了作弊的可能性,能夠大大減輕監管壓力,讓數據作為真正的生產要素存在,并進行市場化配置。
在Web3語境下,數據利用的新范式包括承載流動數據要素的市場系統和管理公共數據要素的公共系統。它們涵蓋了三個新的數據業務場景:產權數據開發整合、可組合初始數據層和公共數據挖掘。
這些場景有的與傳統數據基礎設施緊密結合,屬于Web3混合數據基礎設施架構;有的則脫離傳統架構,完全由Web3原生的新技術支持。
數據產權是保障權益和合規使用的關鍵,應進行結構性分配處置,同時數據使用需要確認授權機制。各個參與方應該擁有相關權益。
流通交易需要場內外結合以及合規高效。應基于數據來源可確認、使用范圍可界定、流通過程可追溯、安全風險可防范四大原則。
收益分配制度需要高效公平。按照“誰投入、誰貢獻、誰受益”的原則,同時政府在數據要素收益分配中能夠發揮引導調節作用。
Galaxy Digital與加密貨幣投資公司CoinFund合作提高鏈上交易透明度:金色財經報道,Galaxy Digital與加密貨幣投資公司 CoinFund合作,以降低信用風險并提高鏈上交易的透明度。Galaxy已完成了與CoinFund的第一筆交易。[2023/5/15 15:04:26]
要素治理安全可控、彈性包容。這需要創新政府數據治理機制,建立數據要素市場信用體系,并鼓勵企業積極參與數據要素市場建設,圍繞數據來源、數據產權、數據質量、數據使用等,推行面向數據商及第三方專業服務機構的數據流通交易聲明和承諾制。
以上原則是監管部門考慮數據經濟的基本原則。在產權數據開發整合、可組合初始數據層和公共數據挖掘三種場景下,可以以這些原則為基礎進行思考。我們需要怎樣的基礎設施作為支撐?這些基礎設施能夠在哪些階段捕獲什么樣的價值?
智能合約或內部邏輯系統進行數據分類分級授權。
在該場景下適用的數據類型為非公共數據,即企業數據和個人數據。應按市場化方式“共同使用、共享收益”,從而激活數據要素價值。
企業數據包括各類市場主體在生產經營活動中采集加工的不涉及個人信息和公共利益的數據。市場主體享有依法依規持有、使用、獲取收益的權益,以及保障其投入的勞動和其他要素貢獻獲得合理回報的權利。
個人數據要求數據處理者按照個人授權范圍依法依規采集、持有、托管和使用數據。使用創新技術手段,推動個人信息匿名化處理,保障使用個人信息數據時的信息安全和個人隱私。探索由受托者代表個人利益,監督市場主體對個人信息數據進行采集、加工、使用的機制。對涉及國家安全的特殊個人信息數據,可依法依規授權有關單位使用。
注:橙色是Web2與Web3交叉的單元
可組合初始數據層是數據經濟市場的重要組成部分。與一般的產權數據不同的是,這部分數據最明顯的特征是需要通過“數據模式管理”定義數據的標準格式。與“數據適配”的質量、采集和接口標準化不同的是,這里強調的是數據模式的標準化,包括標準的數據格式和標準的數據模型。Ceramic和Lens是這一領域的先行者,他們分別保障了鏈下和鏈上數據的標準模式,從而使得數據具有可組合性。
搭建在這些數據模式管理工具之上的是可組合初始數據層,通常稱為“datalayer”,如Cyberconnect、KNN3等。
可組合初始數據層較少涉及到Web2的技術棧,但以Ceramic為主的熱數據讀取工具打破了這一點,這將是非常關鍵的突破。很多類似的數據無需存儲在區塊鏈上,也很難存儲在區塊鏈上,但它們需要存儲在去中心化的網絡之上,例如用戶的發帖、點贊和評論等高頻低價值密度數據,Ceramic為這一類數據提供了存儲范式。
可組合的初始數據是新時代創新的關鍵場景,也是數據霸權與數據壟斷終結的重要標志。它能夠解決初創企業在數據方面的冷啟動問題,組合成熟數據集和新數據集,從而使初創企業能夠更快地建立數據競爭優勢。同時讓初創企業專注于增量數據價值和數據新鮮度,從而為自身的創新想法贏得持續的競爭力。這樣,大量的數據將不會成為大公司的護城河。
注:橙色是多類別交叉的單元
公共數據挖掘并不是一個新的應用場景,但是在Web3技術棧中,它得到了前所未有的突出強調。
Binance.US暫停通過OCBS進行BUSD存款和取款:金色財經報道,Binance.US 的狀態面板顯示,已通過 One Common Billing System(OCBS)禁用 BUSD 穩定幣對,受影響的服務包括 BUSD 存提款、買賣與交換加密貨幣期權。Binance.US 稱,這是暫時中止,正在努力恢復所有服務。[2023/3/31 13:38:08]
傳統的公共數據包括黨政機關、企事業單位依法履職或提供公共服務過程中產生的公共數據。監管機構鼓勵在保護個人隱私和確保公共安全的前提下,按照“原始數據不出域、數據可用不可見”的要求,以模型、核驗等產品和服務等形式向社會提供該類數據。它們采用的是傳統技術棧。
在Web3中,區塊鏈上的交易數據以及活動數據則是另一類公共數據,其特征是“可用且可見”,因此缺乏數據隱私、數據安全以及數據使用的確認授權能力,是真正的“公共物品”。它們采用的是以區塊鏈和智能合約為核心的技術棧。
而在去中心化存儲上的數據則大多是除交易以外的Web3應用數據,目前主要是以文件和對象存儲為主,相應的技術棧仍不成熟。這類公共數據的生產和挖掘利用存儲的普遍問題包括冷熱存儲、索引、狀態同步、權限管理和計算等等。
該場景涌現了諸多數據應用,它們不屬于數據基礎設施,更多是數據工具,包括Nansen、Dune、NFTScan、0xScope等等。
案例:數據交易所
數據交易所是指以數據為商品進行交易的平臺。它們可以根據交易對象、定價機制、質量保證等方面進行分類和比較。DataStreamX、Dawex、OceanProtocol是市場上幾個典型的數據交易所。
OceanProtocol是一個開源的協議,旨在讓企業和個人能夠交換和變現數據和基于數據的服務。該協議基于以太坊區塊鏈,使用“數據代幣”來控制對數據集的訪問。數據代幣是一種特殊的ERC20代幣,可代表一個數據集或一個數據服務的所有權或使用權。用戶可以通過購買或賺取數據通證來獲取所需的信息。
OceanProtocol的技術架構主要包括以下幾個部分:
提供者:指提供數據或數據服務的供應方,他們可以通過OceanProtocol發行和出售自己的數據通證,從而獲得收入。
消費者:指購買和使用數據或數據服務的需求方,他們可以通過OceanProtocol購買或賺取所需的數據通證,從而獲得訪問權。
市場:指由OceanProtocol或第三方提供的一個開放、透明和公平的數據交易市場,它可以連接全球范圍內的提供者和消費者,并提供多種類型和領域的數據通證。市場可以幫助組織發現新的商業機會,增加收入來源,優化運營效率,創造更多價值。
網絡:指由OceanProtocol提供的一個去中心化的網絡層,它可以支持不同類型和規模的數據交換,并保證數據交易過程中的安全、可信和透明。網絡層是一組智能合約,用于注冊數據、記錄所有權信息、促進安全的數據交換等。
策展人:指一個生態系統中負責篩選、管理、審核數據集的角色,他們負責審核數據集的來源、內容、格式和許可證等方面的信息,以確保數據集符合標準,并且可以被其他用戶信任和使用。
驗證人:指一個生態系統中負責驗證、審核數據交易和數據服務的角色,他們對數據服務提供商和消費者之間的交易進行審核和驗證,以確保數據服務的質量、可用性和準確性。
Serum推出新交易界面Vybe DEX:8月11日消息,Solana生態去中心化交易平臺Serum宣布推出數據驅動的交易界面Vybe DEX,該交易平臺由Serum的中央限價訂單簿和匹配引擎提供支持,由Vybe Network構建和托管。
Vybe DEX允許用戶以易于使用的界面進行交易,體驗類似于在Coinbase Pro或FTX等中心化交易所進行交易。該界面的功能包括為所有Serum市場下限價和市價單、查看未結訂單和交易歷史、實時和歷史圖表數據、訂單簿流動性統計、SPL代幣以及市場深度圖表。[2022/8/11 12:17:24]
開源、靈活和可擴展的協議有助于組織和個人創建自己獨特的數據生態系統。
基于區塊鏈技術的去中心化網絡層,可以保證數據交易過程中的安全、可信和透明,同時也保護了提供者和消費者的隱私和權益。
開放、透明和公平的數據市場,可以連接全球范圍內的提供者和消費者,并提供多種類型和領域的數據通證。
OceanProtocol是混合架構的典型代表。其數據可以存儲在不同的地方,包括傳統的云存儲服務、去中心化的存儲網絡,或者數據提供者自己的服務器。該協議通過數據代幣和數據非同質化代幣來標識和管理數據的所有權和訪問權限。此外,該協議還提供了計算到數據的功能,使得數據消費者可以在不暴露原始數據的情況下對數據進行分析和處理。
建立一個有效的信任機制,以增加數據提供者和需求者之間的信任度,降低交易風險。例如,建立數據要素市場信用體系,對數據交易失信行為認定、守信激勵、失信懲戒、信用修復、異議處理等等,通過區塊鏈進行留證與驗證。
建立一個合理的定價機制,以反映數據產品的真實價值,激勵數據提供者提供高質量的數據,并吸引更多的需求者。
建立一個統一的標準規范,以促進不同格式、類型、來源和用途的數據之間的互操作性和兼容性。
案例:數據模型市場
Ceramic在其數據宇宙中提到了他們要打造的開放數據模型市場,因為數據需要互操作性,它能夠極大地促進生產力的提升。這樣的數據模式市場是通過對數據模型的緊急共識實現的,就類似于以太坊中的ERC合約標準,開發人員可以從中選擇作為功能模板,從而擁有一個符合該數據模型的所有數據的應用程序。目前這個階段,這樣的市場并不是一個交易市場。
關于數據模型,一個簡單的例子是,在去中心化社交網絡當中,數據模型可以簡化為4個參數,分別是:
PostList:存儲用戶帖子的索引
Post:存儲單個帖子
Profile:存儲用戶的資料
FollowList:存儲用戶的關注列表
那么數據模型如何在Ceramic上進行創建、共享和重用,從而實現跨應用程序數據互操作性呢?
Ceramic提供了一個數據模型注冊表,這是一個開源的、社區共建的、用于Ceramic的可重用應用程序數據模型的存儲庫。在這里,開發人員可以在其中公開注冊、發現和重用現有數據模型——這是構建在共享數據模型上的客戶操作應用程序的基礎。目前,它基于Github存儲,未來它將分散在Ceramic上。
添加到注冊表的所有數據模型都會自動發布到@datamodels的npm插件包下面。任何開發人員都可以使用@datamodels/model-name安裝一個或多個數據模型,使這些模型可用于在運行時使用任何IDX客戶端存儲或檢索數據,包括DIDDataStore或Self.ID。
NFT項目UPCLUB完成200萬美元種子輪融資:7月7日消息,據官方推特,NFT項目UPCLUB完成200萬美元種子輪融資,Sora Ventures領投,Springwind Ventures、Entropy Trading、HG Ventures以及IOST參投。
據悉,UpClub旨在成為亞洲的無聊猿(Bored Ape),其正在利用NFT會員建立一種文化體驗和娛樂。該團隊由MCN公司Theotion Entertainment的創始人James Han創立。[2022/7/7 1:57:11]
此外,Ceramic還基于Github搭建了一個DataModels論壇,數據模型注冊表中的每個模型在該論壇上都有自己的討論線程,社區可以通過它來評論和討論。同時,這里還可以供開發人員發布關于數據模型的想法,從而在將其添加到注冊表之前征求社區的意見。目前一切都在早期階段,注冊表中的數據模型并不多,收納進入注冊表中的數據模型應當通過社區的評定稱為CIP標準,就像以太坊的智能合約標準一樣,這為數據提供了可組合性。
案例:去中心化數據倉庫
SpaceandTime是第一個連接鏈上和鏈下數據以支持新一代智能合約用例的去中心化數據倉庫。SpaceandTime(SxT)擁有業內最成熟的區塊鏈索引服務,SxT數據倉庫還采用了一種名為ProofofSQL?的新型密碼學來生成可驗證的防篡改結果,允許開發人員以簡單的SQL格式加入無需信任的鏈上和鏈下數據,并將結果直接加載到智能合約中,以完全防篡改和區塊鏈錨定的方式為亞秒級查詢和企業級分析提供支持。
SpaceandTime是兩層網絡,由驗證器層和數據倉庫組成。SxT平臺的成功取決于驗證器和數據倉庫的無縫交互,以促進對鏈上和鏈下數據的簡單和安全查詢。
數據倉庫由數據庫網絡和計算集群組成,這些網絡由spaceandtime驗證器控制并路由到它們。Spaceandtime采用了一種非常靈活的倉儲解決方案:HTAP。
Validator監視、命令和驗證這些集群提供的服務,然后編排最終用戶和數據倉庫集群之間的數據流和查詢。Validator為數據進入系統和數據退出系統提供了一種手段。
路由——支持與去中心化數據倉庫網絡的事務和查詢交互
流媒體——充當大容量客戶流媒體工作負載的接收器
共識——對進出平臺的數據提供高性能的拜占庭容錯
查詢證明——向平臺提供SQL證明
TableAnchor——通過在鏈上錨定表向平臺提供存儲證明
Oracle——支持Web3交互,包括智能合約事件監聽和跨鏈消息傳遞/中繼
安全性——防止未經身份驗證和未經授權訪問平臺
SpaceandTime作為一個平臺是世界上第一個分散的數據結構,它開啟了一個強大但服務不足的市場:數據共享。在SpaceandTime平臺內,公司可以自由共享數據,并且可以使用智能合約對共享的數據進行交易。此外,數據集可以通過SQL證明以聚合方式貨幣化,而無需讓消費者訪問原始數據。數據消費者可以相信聚合是準確的,而無需看到數據本身,因此數據提供者不再必須是數據消費者。正是出于這個原因,SQL證明和數據結構架構的結合有可能使數據操作民主化,因為任何人都可以在攝取、轉換和服務數據集方面做出貢獻。
對于數據來源者,需要擁有知情同意和數據本身的自由獲取、復制轉移的處置權。
對于數據處理者,需要擁有自主管控、使用數據和獲得收益的權力。
對于數據衍生品,需要擁有經營權。
目前Web3數據治理能力單一,往往只能通過控制私鑰來控制資產和數據,分級分類配置能力幾乎沒有。最近,Tableland、FEVM以及Greenfield的創新機制,在一定程度上可以實現數據的去信任化治理。傳統的數據治理工具如Collibra一般只能用于企業內部,只具備平臺級的信任,同時非去中心化的技術也使得其無法防止個人作惡及單點故障。通過Tableland等數據治理工具,可以保障數據流通過程所需的安全保障技術、標準和方案。
案例:Tableland
TablelandNetwork是一種用于結構化關系數據的分散式web3協議,從以太坊(EVM)和與EVM兼容的L2開始。借助Tableland,現在可以通過利用區塊鏈層進行訪問控制來實現傳統的web2關系數據庫功能。但是,Tableland并不是一個新的數據庫——它只是web3原生的關系表。
Tableland提供了一種新方法,使dapp能夠將關系數據存儲在web3-native網絡中,而無需進行這些權衡。
解決方案
使用Tableland,元數據可以變更、查詢和可組合——所有這些都以完全去中心化的方式進行。
Tableland將傳統的關系數據庫分解為兩個主要組件:具有訪問控制邏輯(ACL)的鏈上注冊表和鏈下表。Tableland中的每個表最初都是作為ERC721令牌在基本EVM兼容層上鑄造的。因此,鏈上的表所有者可以為表設置ACL權限,而鏈下Tableland網絡管理表本身的創建和后續變更。鏈上和鏈下之間的鏈接都是在合約級別處理的,它只是指向Tableland網絡。
只有具有適當鏈上權限的人才能寫入特定表。但是,表讀取不一定是鏈上操作,可以使用Tableland網關;因此,讀取查詢是免費的,可以來自簡單的前端請求,甚至可以來自其他非EVM區塊鏈。現在,為了使用Tableland,必須首先創建一個表。部署地址最初設置為表所有者,并且此所有者可以為任何其他嘗試與表交互進行變更的用戶設置權限。例如,所有者可以設置規則,誰可以更新/插入/刪除值,他們可以更改哪些數據,甚至決定他們是否愿意轉讓所有權表的另一方。此外,更復雜的查詢可以連接來自多個表的數據,以創建一個完全動態且可組合的關系數據層。
考慮下圖,它概括了新用戶與已由某些dapp部署到Tableland的表的交互:
以下是整體信息流:
1.新用戶與dapp的UI交互并嘗試更新存儲在Tableland表中的一些信息。
2.dapp調用Tableland注冊智能合約來運行這個SQL語句,并且這個合約檢查dapp的智能合約,其中包含定義這個新用戶的權限的自定義ACL。有幾點需要注意:
dapp的單獨智能合約中的自定義ACL是一個完全可選但高級的用例;開發人員不需要實現自定義ACL,可以使用Tableland注冊表智能合約的默認策略。
寫查詢也可以使用網關,而不是直接調用Tableland智能合約。dapp始終存在直接調用Tableland智能合約的選項,但任何查詢都可以通過網關發送,網關將以補貼的方式將查詢中繼到智能合約本身。
3.Tableland智能合約獲取該用戶的SQL語句和權限,并將這些合并到發出的事件中,這些事件描述了要采取的基于SQL的操作。
4.TablelandValidator節點偵聽這些事件并隨后采取以下操作之一:
如果用戶具有寫入表的正確權限,驗證器將相應地運行SQL命令并將確認數據廣播到Tableland網絡。
如果用戶沒有正確的權限,Validator不會對表執行任何操作。
如果請求是簡單的讀查詢,則返回相應的數據;Tableland是一個完全開放的關系數據網絡,任何人都可以在其中對任何表執行只讀查詢。
5.dapp將能夠通過網關反映Tableland網絡上發生的任何更新。
避免什么
個人身份數據——Tableland是一個開放的網絡,任何人都可以從任何表格中讀取數據。因此,個人數據不應存儲在Tableland中。
高頻、亞秒級寫入——例如高頻交易機器人。
將每個用戶交互存儲在應用程序中——將這些數據保存在web3表中可能沒有意義,例如擊鍵或點擊。寫入頻率會導致高成本。
非常大的數據集——應該避免這些,最好通過文件存儲來處理,使用IPFS、Filecoin或Arweave等解決方案。但是,指向這些位置和相關元數據的指針實際上是Tableland表的一個很好的用例。
數據源是整個架構中價值捕獲最大的模塊
數據復制、轉換、流式處理和數據倉庫在其次
分析層可能會有很好的現金流,但估值會存在上限
簡單的來說,在整個結構圖的左邊的公司/項目,其價值捕獲傾向于更大。
行業集中度最高的是數據存儲以及數據查詢和處理兩個模塊
行業集中度中等的是數據抽取和轉換
行業集中度較低的是數據源、分析和輸出兩個模塊
數據源、分析和輸出行業集中度較低,初步判斷是不同的業務場景導致在每個業務場景中都能夠有垂直場景的龍頭出現,如數據庫領域的Oracle、第三方服務的Stripe、企業服務的Salesforce、儀表盤分析的Tableau以及嵌入式分析的Sisense等等。
而行業集中度中等的數據抽取和轉換模塊,初步判斷其原因是因為業務屬性的技術導向性。模塊化的中間件形式也使得切換成本相對較低。
行業集中度最高的數據存儲以及數據查詢和處理模塊,初步判斷是由于業務場景單一、技術含量高、啟動成本高且后續切換具有較大成本,使得公司/項目的先發優勢較強,且具備網絡效應。
在2010年前成立的大部分是數據源類公司/項目,移動互聯網還沒有興起,數據量還沒有非常大,也有一部分數據存儲和分析輸出類的項目,儀表盤類為主。
2010年~2014年,是移動互聯網崛起的前夕,誕生了Snowflake和Databricks等數據存儲和查詢項目,數據抽取和轉換的項目也開始出現,一套成熟的大數據管理技術方案逐漸完善,期間也出現了大量分析輸出類的項目,儀表盤類為主。
2015年~2020年,查詢和處理類的項目如雨后春筍,同時也有大量數據抽取和轉換的項目不斷出現,讓人們可以更好地發揮出大數據的威力。
2020年往后,出現了更新的實時分析數據庫和數據湖解決方案,如Clickhouse和Tabular。
基礎設施的完善是所謂“massadoption”的前提。在大規模應用期間,也依然不斷有新的機會,但這些機會幾乎只屬于“中間件”,而底層的數據倉庫、數據源等解決方案幾乎是贏者通吃的局面,除非有技術上實質性的突破,不然都很難成長起來。
而分析輸出類項目,不論在哪個時期都是創業項目的機會。但也是在不斷迭代創新,基于新的場景做新的事情,2010年以前出現的Tableau占據了桌面式儀表盤分析工具的大部分江山,隨后出現的新型場景有如更加專業導向的DS/ML工具、更加綜合導向的數據工作站以及更加SaaS導向的嵌入式分析等等。
從這個視角來看Web3目前的數據協議:
數據源和存儲類項目江山未定,但龍頭初顯,鏈上狀態存儲以以太坊為首,而去中心化存儲以Filecoin、Arweave為首,可能會存在異軍突起的Greenfield。——價值捕獲最高
數據抽取和轉換類的項目,仍然還有創新空間,數據預言機Chainlink只是開始,事件流和流處理基礎設施Ceramic以及更多的項目會出現,但空間不多。——價值捕獲中等
查詢和處理類的項目,theGraph已經能夠滿足大部分需求,項目類型和數量還沒有到達爆發期。——價值捕獲中等
數據分析類的項目,Nansen、Dune為主,需要有新的場景才有新的機會,NFTScan和NFTGo有點類似新的場景,但只是內容更新,而非分析邏輯/范式層面的新需求。——價值捕獲一般,現金流可觀。
但Web3不是Web2的翻版,也不完全是Web2的進化。Web3有非常原生的使命和場景,從而誕生了和以前完全不一樣業務場景。
Tags:ANDTABABLABLEYieldPandaDropsTabStableFund USDValuables BY CENT
去年這個時候,2022年4月12日,當Robinhood將SHIB上線時,ShibaInu社區正洋洋得意。上市后的欣喜讓SHIB社區覺得在加密貨幣世界一切皆有可能.
1900/1/1 0:00:00最近大額交易和活躍地址的激增幫助BTC上漲至30,000美元。隨著隱含波動率的增加,加息可能意味著減半周期的變化。比特幣十個月來首次突破30,000美元大關.
1900/1/1 0:00:00一、項目簡介? PLAY區是XCAD網絡的擴展,允許用戶鑄造NFT,同時通過觀看特定的YouTube內容賺取PLAY代幣.
1900/1/1 0:00:00TerraLunaClassic價格在過去24小時內上漲了1%,達到0.00012574美元,整個加密貨幣市場上漲了4.5%.
1900/1/1 0:00:00連續數日,各大交易平臺與機構在香港的活動辦得如火如荼,規模與力度空前,如此重金押注下,顯然對香港未來Crypto領域的政策與市場空間寄予厚望漲出邏輯.
1900/1/1 0:00:00ETH的通縮壓力 據透露,在TheMerge升級后的208天內,加密資產以太坊的供應量減少了82,924ETH。根據網絡使用量的ETH銷毀數量正在增加,并且處于由于質押獎勵而超過新發行量的情況.
1900/1/1 0:00:00