一览EIP-4844技术细节：如何
链上数据分析：从野蛮生长的DeFi世界洞察价值
2023.02.13
摘要
Key Takeaway
目前主流的链上数据分析工具多处于从Web2向Web3过渡的阶段，未来面向DeFi的数据分析服务一定是根植于Web3原生数据特性的。特别是基于智能合约代码逻辑的数据洞察能力，将会成为链上数据分析平台最重要的护城河。
目前数据产品也出现了两种分化的发展场景：一种是注重开发者和用户社区建设，主要面向开发者及技术人员，通过激励社区贡献，鼓励用户独立发布数据洞察，从而建立产品的正反馈循环，比如Dune。另一种是基于自身产品强大的分析能力，主要面向专业的机构投资者群体提供独家的定制数据洞察服务，比如Nansen和Glassnode。在建立起成熟的开发者社区后，通过产品迭代和社区反哺，社区驱动的数据工具同样也能够产出相对优质的洞察，因此未来两种模式结合发展将会是主流。
从Web2到Web3：链上数据概览
顾名思义，链上数据即“记录在区块链上的数据”。因为区块链是一个公开的、去中心化的分布式记账本，其存储和验证的所有交易都不能更改或删除，且允许任何人访问，因此链上数据具有公开透明、不可篡改、安全等特征。这些特点意味着人们可以公开查看记录在区块链上的所有交易，并提取各种原始数据，这些数据包括代币（token）的发送数量和时间、钱包地址、支付给矿工的费用及链上交易量等信息。
随着智能合约的发展，去中心化应用（Dapp）颠覆了传统Web2应用的架构，Web2应用的后端被智能合约所替代，其中凡是智能合约交互产生的数据，都发布在区块链上。任何人可以都访问，它因此成为一种公共产品，这些包括资产信息、交易数据和合约代码。理论上，只要区块链块空间够大，任何数据都可以存储在区块链上，甚至也有的项目在尝试将区块链作为数据库来存储数据。Dapp的规模使用极大丰富了链上数据，整个区块链生态中与链上交互的各类活动数据也被囊括其中。
Web3应用程序架构
图源：Preethi Kasireddy, The Architecture of a Web 3.0 application
如果对链上数据进行分类，大致可以分为以下3类：
交易数据：包含交易信息的数据，如转账资金、收发地址、手续费等；
区块数据：区块自身信息数据，如时间戳、验证者、包含的交易及交易排序等；
合约代码：区块链上部署的非用户交互产生的代码数据，即预先定义好的智能合约代码。
*注意：
中心化交易所（CEX）的用户资产及交易数据都是存储在其内部数据库中的，每笔交易只是在其数据库内进行结算和记录，交易数据并不上链。因此，需要明确该类CEX的交易数据并不包含在链上数据中，也无法通过区块链浏览器进行查询。
数据只能写入以太坊区块链——用户永远无法更新现有数据。
以以太坊为例，我们可以在区块链浏览器Etherscan上查询到任意一笔链上交易的信息。下面是区块#15537394上的一笔交易（交易哈希为0x3af096859a880d9c33718eda59cb96e1504db7390d0e086c7260d91e87139eab），该区块是以太坊Merge后的一个PoS区块。
可以看到，页面包含该笔交易的交易哈希、交易状态、区块、时间戳、收发双方地址、该笔交易转账的ETH数量、交易费、Gas费等信息，这些信息也就是链上数据的基本构成。
赛道分析
由于市场价格（尤其是加密货币市场）往往是容易被人操纵的，各类市场信息对洞察市场具有重要作用。作为链上基础设施的存在，链上数据分析能够弥补这种信息差，交易者可以观察到所有区块链生态中发生的活动，了解市场上的资金流向，并评估哪些活动可能预测市场价格变动，分析加密货币市场的走势。对加密投资而言，链上数据就好比传统金融股票市场中公司公开的财务、业务数据，投资者可以基于链上数据对不同的Web3项目进行合理估值，完善投资决策。
举个例子，投资者可以通过Defilamma 查询DeFi协议的TVL （Total Value Locked，总锁仓量）来判断该协议的价值。TVL描述了在该合约中锁定的所有代币总价值。如果用户将价值100美元的加密货币存入某个 DeFi 借贷平台，该平台的 TVL就增加了100美元。如果有多个用户往里存款，总额达到100万美元，那么该平台的 TVL 将是100万美元。TVL 表现了该协议具有的流动性和潜在风险，也因此反映了其流行程度和用户对协议的信任程度。例如，由于3月份的以太坊上海升级将使得质押的 ETH 可以被提取，许多人认为将会有更多的用户愿意质押他们的 ETH。而Lido作为以太坊流动性质押赛道的龙头项目，迅速成为市场的宠儿，其 TVL在年后不断增加，并超过Maker一跃成为TVL最高的DeFi协议。相对地，如果一个协议目前的TVL较低且有下行趋势，表明该协议目前的用户信心不足，该项目可能出现风险点，其价格可能被高估。
从下图可以看出，随着2022年5月UST脱钩、LUNA崩盘，DeFi市场的总TVL从约$140B迅速缩水至$80B以下。6月份，受加密借贷巨头Celsius暴雷、stETH暴跌，以及被波及的一系列加密公司（如Voyager、三箭资本）破产事件的影响，总TVL再度降至约$52B。整个市场步入熊市，目前DeFi市场总TVL在$40-50B之间波动。
链上数据分析市场规模
从目前数据服务来看，整体链上数据分析产品普遍采用订阅制模式盈利。TAM = 客户数量*周期平均消费频率*平均客单价
目前数据分析的业务可以分为ToB和ToC两种，其提供的数据服务可以大致分为数据API、更高粒度/定制化的数据表以及数据研究报告等。虽然链上数据公开透明且可以被任意访问，但只有经过有效的数据分析才能够得以发挥其作用，因此链上数据分析产品具有极高的附加值，诸多链上数据产品均主打专业用户，客单价均较高（$200/月以上）。
目前交易DeFi资产的唯一地址数有6.868M个，假如其中10%为意向用户，以Dune的月费$420为例，则TAM = 6.868M*10%*$420/月*12个月= $34.6亿/年。
然而，实际上由于各应用订阅的阶梯价格相差巨大，甚至可达数十倍，且机构与个人用户对数据服务的付费意愿及阈值存在显著差异，本文认为仅依靠TAM公式并不能准确测算链上数据服务的市场规模。作为参考，可以对比目前全球数据市场规模和数据服务巨头的估值：
根据Statista的数据显示，2022年全球大数据和商业分析（BDA）市场价值约为2743亿美元。而传统金融数据服务商Thomson Reuters的市值约为567亿美元。即使是商业智能应用，如Tableau，其估值也达到了157亿美元。而对标的链上数据分析平台独角兽Dune，其估值目前才刚达到10亿美元。
目前加密市场总市值刚刚回升至$1T以上，DeFi市场的总TVL也就不到$50B。但在牛市期间，总市值近$3T。细分到DeFi领域，Defillma 数据显示 DeFi TVL最高达到$180B。根据Grand View发布的报告，全球Web3.0区块链市场规模2022 年至 2030 年的复合年增长率 （CAGR） 为44.9%。Markets and Markets 的一份报告预测，到 2026 年全球区块链风险投资市场将达到 674 亿美元。目前，随着市场信心的回升，DeFi市场的估值将有所修复，链上数据产品依旧具有广阔的应用前景。据@0xwayne_z 估计，链上数据市场目前应有上百亿规模。
链上数据分析产品赛道拆解
我们可以从以下3个方面来对链上数据产品赛道进行拆解。
从数据栈角度来看，一个完整的链上数据分析流程需要经过以下几个步骤：数据抽取（Extract）→清洗转换（Transform）→加载（Load）到数据仓库→依据不同业务线及观测指标分析数据→输出量化结果。区块链数据产品可以分为数据源、数据开发工具（Data Dev）和数据应用（Data App）三类，而我们一般意义上讨论的链上数据分析产品主要包含后面二者。
从数据的处理机制来看，对数据的处理模式可以分为偏向web2原生还是偏向web3原生，即区分产品是移植并改良了web2的处理逻辑，还是基于web3活动数据的特性发展了独有的methodology。这个角度主要关注该数据分析产品是否能在web2找到类似的数据处理逻辑。
从数据应用领域来看，目前数据分析应用相对成熟的Web3大赛道有DeFi、NFT、GameFi赛道，因为这些赛道本身规模较大，对数据驱动的洞察需求较大，且产生的链上交互数据量和丰富程度也足以支持数据挖掘和分析。本文主要聚焦DeFi领域的链上数据分析应用，其中又包括市场、交易、钱包地址、资产组合、借贷、套利等不同维度数据的追踪洞察平台。
根据@zk7hao的划分，目前链上数据分析赛道的生态位已经有诸多玩家。依据面向用户的不同，Dapp可以分为面向消费端或面向企业和专业用户的产品，而数据开发工具又可以分为面向开发者社区和面向企业的产品。根据垂直领域的不同，又有针对DEX、NFT、AML、DAO等特定分析需求的数据产品。
加密数据栈产品生态图
图源：@zk7hao
DeFi数据分析产品竞争格局
作为目前数据分析需求最大的赛道，本文将重点对DeFi的数据分析产品进行解读。
Y轴——数据的处理阶段：数据开发到数据洞察
X轴——数据的处理机制：web2原生到web3原生
DeFi数据分析产品竞争格局
数据分析开发工具面向数据分析开发人员，可以完成ETL（即Extract-Transform-Load）的工作，将交易、状态和事件日志数据解析成可以用SQL或GraphQL等传统语言查询的格式并存储在数据库中，供后续查询。自由定制程度高，但不提供数据分析结果。头部应用：Dune Analytics.
数据分析洞察工具面向普通用户，提供可直接访问的数据内容，供投资者参考决策。一般会以数据可视化看板等提供结果，易读性强。自由定制程度低，用户只能阅读预先分析好的数据结果，较难按需求自行定制输出。头部应用：Nansen.
Dune、Footprint等对链上数据的再生产逻辑和web2世界的MySQL、Tableau类似，CoinMarketCap、CoinGecko也和传统金融市场的数据监控平台的逻辑相似，因此其数据处理逻辑偏向web2原生。
而Etherscan对链上交易和所在区块的扫描信息，包括收发地址、合约日志、交易顺序、验证者信息等，以及Nansen、EigenPhi、0xScope Watchers等对地址的资产损益计算、资金流向追踪分析也都是基于链上合约的交互而诞生。这些信息在传统金融世界要么是中心化存储、要么是缺失的，因此我们可以认为上述产品功能的数据处理逻辑偏向web3原生。
典型链上数据分析工具一览
数据分析开发工具
Dune
——https://dune.com
【核心功能】基于PostgreSQL数据库，Dune把 ETH的链上数据以结构化的形式存放到关系型数据库中，允许用户使用SQL代码进行自定义的数据分析并生成自己定制的数据可视化 Dashboard 供其他用户查看。
【商业模式】订阅制。截至2022年6月21日，Dune Analytics累计查询费用超1700万美金。
普通用户：免费
会员用户：$420/月，用户可以创建2000条4倍速高性能查询、100条私有查询、10个私有看板，每月可导出250条查询结果到CSV，以及隐藏水印。
精英用户：$1337/月，在普通会员用户的基础上，将高性能查询提升8倍速、数量提升至4000条，此外用户可以创建1000条私有查询、100个私有看板，每月可导出1000条查询结果到CSV。
Footprint
——https://www.footprint.network
【核心功能】与Dune类似，Footprint允许用户自己定制数据分析图表，还提供原始和处理过的数据及图表工具，供用户定制自己的数据分析面板。
相对于Dune，Footprint更为新手友好，因为用户不必使用SQL查询，而是可以选择进入“图表（chart）”界面。此时界面类似Excel，可以通过提供的菜单完成筛选、排序、统计、透视表等分析，从而快速搭建自己的数据面板。
Footprint同样很重视开发者社区，在搜索栏可以搜索并查看其他用户生成公开的图表和看板，也可以复制其他用户的看板为自己所修改。
Footprint 目前支持解析24条链，是目前覆盖公链最广的数据分析工具。现在其支持解析的数据涵盖了 7,432个DeFi协议、435万个智能合约和429万个NFT等。
Footprint将数据分为金银铜三类，其中铜级别的数据是未经处理的原始链上交易、转账、活动、日志等数据，银级别的数据是多条链上的NFT、GameFi、Defi数据，对交易、地址等进行了提取和标记，而金级别的数据则是聚合过的业务级别数据，包括了用户画像、市值、TVL等数据，可以直接使用。
【商业模式】订阅制。
分析服务
免费版：包括每个查询 1G 数据限制、CSV 上传 5 次。
商业版：$299/月，付费功能包括访问完整的历史数据、每次查询 10G 数据限制、无限制的 API 上传、无限制的 CSV 上传及下载。
团队版：定制价格，包括定制数据、无限制的自定义警报和无限制的定制看板。
数据API
免费版：限制3,000次调用/月，100次调用/天，1 次调用/秒，可保存30天历史数据。
成长版：$79/月，限制300,000次调用/月，10,000次调用/天，10 次调用/秒，可保存6个月历史数据，可返回10 行静态数据，100行非静态数据。
专业版：$360/月，限制10,000,000次调用/月，10,000,000次调用/天，50 次调用/秒，可保存所有的历史数据，可返回10 行静态数据，100行非静态数据，可调用SQL API 数据库接口，另外赠送$299/月的商业版分析服务。
企业版：定制价格，包括可自定义吞吐量、定制API及其他个性化服务。
【洞察】Footprint有自己的研报专栏，会定期独立或合作发布研究报告。
GeniiData
——https://studio.geniidata.com/
【核心功能】和Dune类似，GeniiData同样是基于SQL查询语句的跨链数据分析平台，提供清洗过的可靠数据源，分析师可以通过写SQL查询创建图表、搭建可视化看板。
优势在于其支持一些别的工具不支持的链，如支持解析Aptos这种大热门新链。
目前GeniiData也拥有自己的开发者社区，可以查看用户自行创建和分享的看板。
【商业模式】订阅制。
免费版：不允许上传或导出csv数据。
Premium版：目前采取邀请制，可上传10张csv数据表，可无限次导出csv数据。
数据分析洞察工具
Nansen
——https://pro.nansen.ai/
【核心功能】Nansen 以"链上地址标签（wallet labels）"功能而出名。Nansen提供对钱包地址的标记和识别，具有目前最大的钱包地址标签库。目前在Nansen的主界面上，可以查询钱包地址的投资组合、公链宏观数据、稳定币和DeFi及NFT市场数据等。
Wallet labels 钱包地址标签：通过将钱包进行分类，原本匿名的链上地址会被打上多个标签，如智能合约、交易所、智能货币、基金、重度DEX 交易员、NFT 收藏者等。用户可以快速了解执行交易的钱包类型，方便对合约、项目等进行尽职调查，并从巨鲸、基金等钱包的地址活动中发现市场机会。
Smart money 聪明钱：Nansen的钱包标签中最有名的就是“聪明钱”。拥有聪明钱标签的是加密世界中的精英们的钱包地址，其中包括巨鲸、VC等用户的地址。追踪聪明钱地址的动向，可以帮助用户追踪巨鲸、重度DeFi玩家的实时动向。
Portfolio 资产组合：Nansen 的用户可以使用钱包地址登录他们的网站，登录后就可以在页面上查看钱包地址下所有的资产、交易记录、资产分析等。
NFT：目前Nansen推出了NFT Paradise、 NFT God Mode、 NFT Wallet Profiler和NFT Item Profiler、NFT Leaderboards，以及Smart NFT Trader看板等服务。在NFT Paradise（NFT天堂）页，用户可以浏览宏观 NFT 市场动态，包括来自 OpenSea 的地板价实时更新，还可以看到 NFT 趋势和热门 NFT 收藏品。通过NFT利润排行榜或通过 NFT 上帝模式识别出 NFT 巨鲸，找到特定 NFT 集合的顶级持有者，接着他们就可以利用钱包地址追踪，实时监控他们的活动，发现机会。
Token：Nansen新推出的功能，和NFT的看板类似，提供Token的宏观发行和交易数据，主打看板数据有Token Paradise和Token God Mode。在Token上帝模式，可以看到该token在CEX/DEX/聪明钱的持有分布和余额情况，以及交易的损益分布情况，从而辅助投资者做出决策。
