2024-11-18
读取,索引到分析,简述Web3数据索引赛道
读取,索引到分析,简述Web3数据索引赛道
2 数据索引的繁与简:从区块链节点到全链数据库
2.2 数据解析:从原型数据到可用数据
从区块链节点获取的数据往往是经过加密和编码处理的原始数据。这些数据虽然保留了区块链的完整性和安全性,但其复杂性也增加了数据解析的难度。对于普通用户或者开发者来说,直接处理这些原型数据需要大量的技术知识和计算资源。
数据解析的过程在这一背景下显得尤为重要。通过将复杂的原型数据进行解析,转换为更易理解和操作的格式,用户可以更直观地理解和利用这些数据。数据解析的成功与否直接决定了区块链数据应用的效率和效果,是整个数据索引流程中的关键一步。
2.4 全链数据库:向流优先对齐
使用索引节点查询数据通常意味着 API 成为消化链上数据唯一门户。然而,当一个项目进入扩展阶段时,往往需要更灵活的数据源, 而这是标准化的 API 无法提供的。随着应用需求的复杂化,初级数据索引器与其标准化的索引格式逐渐难以满足越来越多样化的查询需求,例如搜索、跨链访问或链下数据映射。
在现代数据管道架构中,“流优先”方法已经成为解决传统批处理局限性的一种方案,能够实现实时的数据摄取、处理和分析。这种范式的转变使得组织能够对传入数据立即作出响应,从而几乎即时地得出洞察并做出决策。类似地,区块链数据服务提供商的发展也正朝着构建区块链数据流的方向前进,传统索引器服务商均陆续推出了以数据流方式获取实时区块链数据的产品,例如 The Graph 的 Substreams,Goldsky 的 Mirror,也有如 Chainbase 和 SubSquid 这样根据区块链生成数据流的实时数据湖。
这些服务旨在解决对区块链交易进行实时解析和提供更全面查询能力的需求。正如“流优先”架构通过降低延迟和增强响应能力,革新了传统数据管道中的数据处理和消费方式一样,这些区块链数据流服务商也希望通过更先进且成熟的数据源,支持更多应用程序的发展并辅助链上数据分析。
通过现代数据管道的视角重新定义链上数据的挑战,我们得以从全新的角度看待链上数据的管理、存储和提供的全部潜力。当我们开始将子图和以太坊 ETL 等索引器视为数据管道中的数据流而非最终输出时,便可以设想一个能够为任何业务用例量身定制高性能数据集的可能世界。
3.1 The Graph
The Graph 网络通过一个去中心化的节点网络来实现多链数据索引和查询服务,促进开发者便捷地索引区块链数据并构建去中心化应用。其主要的产品模式为数据查询执行市场和数据索引缓存的市场,这两个市场本质都是服务于用户的产品查询需求,其中数据查询执行市场具体指消费者为所需的数据选择合适的提供数据的索引节点付费,数据索引缓存的市场则是索引节点依据子图的历史索引热度、收取的查询费、链上策展人对子图输出的需求调动资源分配的市场。
子图(Subgraphs)是 The Graph 网络中的基础数据结构。它们定义了如何从区块链中提取并转换数据为可查询的格式(例如 GraphQL 模式)。任何人都可以创建子图,且多个应用可以重复使用这些子图,这提升了数据可复用性和使用效率。
3.2 Chainbase
Chainbase 是一个全链数据网络,将所有区块链数据整合到一个平台,方便开发者更轻松地构建和维护应用程序。它的独特功能包括:
实时数据湖:Chainbase 提供了一个专门用于区块链数据流的实时数据湖,使得数据在生成时即可被即时访问。
双链架构:Chainbase 基于 Eigenlayer AVS 构建了一个执行层,与 CometBFT 的共识算法形成并行的双链架构。这种设计增强了跨链数据的可编程性和可组合性,支持高吞吐量、低延迟和最终性,并通过双重质押模型提升了网络安全性。
创新数据格式标准:Chainbase 引入了一种名为“manuscripts”的全新数据格式标准,优化了加密行业中数据的结构化和利用方式。
加密世界模型:凭借其庞大的区块链数据资源,Chainbase 结合 AI 模型技术,打造了能够有效理解、预测区块链交易并与之交互的 AI 模型。目前已推出基础版模型 Theia,供公众使用。
这些功能使 Chainbase 在区块链索引协议中脱颖而出,尤其注重实时数据的可访问性、创新的数据格式,以及通过链上和链下数据的结合,创建更智能的模型以提升洞察力。
Chainbase 的 AI 模型 Theia 是其区别于其他数据服务协议的关键亮点。Theia 基于 NVIDIA 开发的 DORA 模型,结合链上和链下数据以及时空活动,学习并分析加密模式,并通过因果推理做出响应,从而深入挖掘链上数据的潜在价值和规律,为用户提供更加智能化的数据服务。
AI 赋能的数据服务使 Chainbase 不再仅仅是一个区块链数据服务平台,而成为一个更具竞争力的智能化数据服务商。通过强大的数据资源和 AI 的主动分析,Chainbase 能够提供更广泛的数据洞察,并优化用户的数据处理过程。