【英文】为何去中心化计算是 AI 发展的关键驱动力?
Chainfeeds 导读:
Decentralised.co 介绍了加密货币领域中新兴但经常被误解的去中心化计算领域,以了解去中心化替代方案在哪些方面可以真正参与竞争。文章探讨的问题包括 ASI 可以在分布式网络上进行训练吗?加密网络有哪些独特优势?以及为什么无需许可的计算基础设施对 AI 来说可能变得像比特币对金融一样重要。
文章来源:
https://www.decentralised.co/p/decentralised-compute
文章作者:
Decentralised.Co
观点:
Decentralised.Co:GPU 的强大源自其卓越的并行计算能力,这使其在处理神经网络的训练任务时效率远超传统 CPU。现代的 AI 模型规模之大,对计算资源的需求也前所未有。例如,GPT-4 拥有 1.8 万亿个参数,训练数据集包含了超过 12 万亿个 token。单靠 CPU 训练这样的模型将需要数百年,而 GPU 的并行计算能力能将这一时间缩短到几个月甚至几周。NVIDIA 最新推出的 B200 GPU 配备了超过 2000 亿个晶体管,每秒可完成高达 2250 万亿次计算(2,250 TFLOPS)。尽管如此,这样的 GPU 仍无法单独完成 GPT-4 规模的模型训练。为此,现代 AI 需要采用多种并行技术构建 GPU 集群,包括:1)数据并行(Data Parallelism):多个 GPU 各自持有模型的完整副本,并处理不同的训练数据部分,周期性地同步权重。2)张量并行(Tensor Parallelism):将每层模型的计算和权重分散到多个 GPU 中,适用于无法单 GPU 运行的超大模型。3)流水线并行(Pipeline Parallelism):将模型的不同层分布到不同 GPU 上,数据像接力赛一样依次通过这些 GPU。 尽管去中心化 GPU 网络无法直接参与超大规模模型的训练,但在支持中小型模型训练和推理任务方面,去中心化计算展现了巨大潜力。以下是去中心化计算在 AI 不同阶段的应用潜力: 1)中小规模模型的分布式训练:通过低通信延迟的算法(如 DisTrO 和 OpenDiLoCo),分布式系统可以高效训练规模在 10 亿到 1000 亿参数的模型。例如,Prime Intellect 成功利用全球 20 个 GPU 集群完成了一个 10 亿参数模型的训练。 2)模型微调(Fine-Tuning):去中心化网络非常适合模型微调任务,这通常只需数个 GPU、较少的计算时间即可完成。例如,1-7B 参数的小型模型通常可在单 GPU 上完成微调,而 30B 参数以上的模型则需要最多 8 台 GPU 的集群。 3)推理服务(Inference):推理任务相比训练需要的计算资源更少,但对地理覆盖范围、系统冗余和 24/7 可用性要求更高。去中心化计算市场可以通过聚合全球 GPU 资源,提供具有成本效益和灵活性的推理服务。这些服务可以利用旧型号 GPU(如 A100),降低成本,同时确保广泛分布的用户能够快速访问。 去中心化计算项目的核心假设是,目前的计算市场存在效率低下的问题。全球数据中心和个人计算机中大量 GPU 资源被分散并未充分利用。通过整合这些闲置资源,去中心化平台能够显著降低计算成本,并为用户提供更加灵活的服务选项。与传统云服务不同,去中心化平台具有以下优势: 1)价格与激励机制:去中心化网络利用代币奖励机制来激励 GPU 提供者和用户。GPU 提供者根据其计算贡献和利用率获得代币奖励,用户则因长期合约或特定地理区域的计算需求获得激励。通过动态调整奖励倍率,这些平台可以引导资源流向稀缺领域,例如供应不足的地区或特定型号的 GPU。 2)抗审查性:传统云服务提供商可能因政策压力或内容审核而中断服务,而去中心化网络则提供了一个无需许可的环境,允许用户自由使用计算资源。 3)去信任化合约执行:通过区块链记录的智能合约,用户和 GPU 提供者可以确保交易的公平性。例如,当开发者租用 H100 GPU 时,区块链可以验证其使用的是预定的硬件规格。 4)支持 AI Agent 的自治能力:随着 AI Agent 的发展,这些自治系统需要动态调整计算资源分配。去中心化网络能够无缝执行此类操作,为 AI Agent 提供灵活、安全的计算支持。【原文为英文】
内容来源免责声明:文章中的所有内容仅代表作者的观点,与本平台无关。用户不应以本文作为投资决策的参考。
你也可能喜欢
尽管缺乏Sol期货产品,Volatility Shares申请Solana期货ETF
资产管理公司Volatility Shares已提交申请,计划推出投资于CFTC监管交易所的Solana期货合约的ETF,并提供1倍、2倍和-1倍杠杆选项。此申请是在任何此类Solana期货产品可供交易之前提交的。