机遇与挑战 ：探索去中心化存储在 Web3.0 时代的角色

摘要

去中心化存储是指单个实体或部分群体将其闲置存储空间作为存储网络的单元，从而绕过 AWS  和谷歌云等中心化机构对数据的绝对控制。

低存储成本、数据冗余备份和 token 经济也是去中心化存储的特点，大量的 Web3 应用程序都建立在这个基础架构上。

截至 2023 年 6 月，去中心化存储整体的存储容量已超过 22000 PB（PB），而网络利用率仅约为 20%。这表明未来有很大的增长空间。

在现有的存储容量中，大约超 80% 的存储容量由 Filecoin 提供，它无疑是该领域的领头羊。Filecoin 还推出了 Filecoin Plus 和 FVM 等项目，以激励开发者并促进生态系统发展。

随着人工智能和全链游戏等领域的兴起，去中心化计算和存储赛道有望迎来令人兴奋的增长机会。

像 Dropbox 和 Google Cloud 这样的云存储服务已经改变了我们在线存储和共享大型文件（如视频和照片）的方式。它们允许任何人以比购买新硬盘低得多的成本存储几 TB 的数据，并在需要时从任何设备访问文件。

然而，有一个问题：用户必须依赖中心化实体的管理系统，这些实体可能随时取消他们对账户的访问权限，与政府机构共享他们的文件，甚至无故删除文件。

这种存储模式导致数据资产的归属不清晰，并且实际上使得亚马逊和谷歌等大型互联网公司在数据方面垄断。此外，中心化服务的停机时间经常会带来灾难性的后果。

存储领域其实原生适用于去中心化应用。首先，它解决了用户数据隐私和所有权等问题。存储在去中心化文件服务上的文件不受任何中心化机构的影响，比如可能希望控制和审查内容的政府机构。它还可以防止私营公司采取诸如审查服务或与执法部门共享文件的事件。

其次，海量的数据存储于索引本身就需要分布式系统来实现。现有的中心化云服务同样使用着分布式的方案，如 Spanner、TiDB 等。可以说分布式并不意味着去中心化，但去中心化一定是分布式的。区别于中心化存储的架构，现有的去中心化方案会将数据分成小块并在加密后存储在全球的各个节点上，这个过程会创建数据的多个副本并提高对数据丢失的恢复能力。

第三，解决了无效挖矿的资源消耗。比特币的 PoW 机制造成的大量电能消耗一直以来被人所诟病，而去中心化存储赋予了用户成为节点的机会，可以通过闲置的存储资源来进行挖矿并获利。而大量的存储节点，也意味着成本的降低，可以预见的是，去中心化的存储云服务甚至能够馋食一部分 Web2 云服务市场份额。

在网络带宽、硬件服务不断升级的今天，这是一个及其庞大的市场，根据 Business Research 预测，全球的数据库市场将在 2028 年超过 1200 亿美金。

为了创建真正去中心化的应用程序，去中心化数据库也应该包含在 Web3 应用程序架构中。其可以分为四个主要组件：智能合约层、文件存储、数据库和通用基础设施层。

智能合约层相当于是 Layer1，而通用基础设施层则包括但不限于预言机、RPC、访问控制、身份、链下计算和索引网络。

虽然用户感知不明显，但文件存储和数据库层在 Web3 应用程序的开发中都发挥着至关重要的作用。它们为存储结构化和非结构化数据提供了必要的基础架构，这是各种应用程序的要求。由于本报告的性质，下文将进一步详细介绍这两个组成部分。

像 Filecoin、Arweave 和 Crust 等 DFSNs 主要用于非结构化数据的持久存储，这些数据不遵循预定义的格式，也不需要频繁更新或检索。因此，DFSNs 通常用于存储各种静态类型的数据，例如文本文档、图像、音频文件和视频。

分布式存储体系结构中这种类型的数据的一个优点是能够利用边缘存储设备或边缘数据中心将数据存储移动得更靠近终端。这种存储方法提供了更低的网络通信成本、更低的交互延迟和更低的带宽开销。它还提供了更大的适应性和可扩展性。

例如，以 Storj 为例，1TB 的每月存储成本为 4.00 美元，而市场领头羊的企业云存储解决方案 Amazon S3 对相同数量的数据每月收费约 23.00 美元。

与传统的中心化云存储解决方案相比，用户可以从更具成本效益的存储选项中受益。DFSNs 的去中心化特性还提供了更高的数据安全性、隐私性和控制性，因为数据分布在多个节点或矿工之间，而不是存储在单个中心化服务器中。

在 DFSNs 中存储非结构化文件的局限性是显而易见的，特别是在高效的数据检索和更新方面。对于需要频繁更新的数据，这些体系结构不是最理想的选择。

在这种情况下，MySQL 和 Redis 等传统数据库是更适合开发人员的选项，它们在 Web2.0 的互联网时代经过了广泛的优化和测试。

尤其是在区块链游戏和社交网络等应用中，存储结构化数据是一个不可避免的要求。传统数据库提供了一种有效的方式来管理大量动态数据并控制对其的访问。它们提供了索引、查询和数据操作等功能，这些功能对依赖结构化数据的应用程序至关重要。

因此，无论是基于 DFSNs 还是自研底层存储。高性能、高可用性的去中心化数据库是存储领域的一个非常重要的分支。

在目前的 Web3 项目中，去中心化的文件存储项目（DFSNs）大致可以分为两类。第一类包括Filecoin 和 Crust 等基于 IPFS 实现的项目。第二类包括 AR、Sia 和 Storj 等项目，它们有自己的底层协议或存储系统。尽管它们有不同的实施方法，但都面临着相同的挑战：确保真正去中心化存储的同时实现高效的数据存储和检索。

由于区块链本身不适合在链上存储大量数据，相关成本和对区块空间的影响使这种方法不切实际。因此，理想的去中心化存储网络必须能够存储、检索和维护数据，同时确保网络中的所有参与者的工作都受到激励，并遵守去中心化系统的信任机制。

我们将从以下几个方面评估几个主流项目的技术特点和优缺点：

数据存储格式：存储协议层需要确定数据应该如何存储，例如数据是否应该加密，以及数据应该作为一个整体存储还是分成小的散列块。