随着AI大模型的迅猛发展，算力市场迎来了前所未有的爆发期。自2022年ChatGPT问世以来，科技巨头们纷纷投身于算力“军备竞赛”，以抢占未来AGI时代的先机。从千卡到万卡，再到十万卡级别的算力集群建设，这一趋势在中国尤为明显。
据研究机构Omdia报告，2024年字节跳动订购了约23万片英伟达芯片，成为英伟达的第二大客户。字节跳动计划在2025年投入1600亿元用于资本开支，其中900亿元将用于购买AI算力。阿里、百度、中国电信等大厂也在积极推进十万卡级别的算力集群建设，进一步推动了中国AI算力市场的热潮。
然而，在巨头们疯狂扩大算力规模的同时，中国算力市场却出现了供需结构性失衡。大量算力资源闲置，甚至有声音认为中国整体算力资源供过于求。云轴科技ZStack CTO王为表示，2023年算力市场非常火爆，但到了2024年市场明显冷淡，许多显卡甚至还未拆封。
算力市场的火爆主要得益于AI大模型的迅猛发展。AI的需求如同抽水泵，激活了原本稳定的算力市场。然而，随着AI大模型的发展逐渐从预训练走向推理应用，市场对算力的需求也在悄然变化。越来越多的玩家开始放弃超大模型的预训练，转而专注于推理应用市场的开发。
零一万物创始人兼CEO李开复曾公开表示，零一万物不会停止预训练，但不再追逐超大模型。他认为，如果追求AGI，不断训练超大模型将需要更多GPU和资源，而当预训练结果已经不如开源模型时，每个公司都不应该执着于预训练。
随着AI大模型赛道的分化，算力需求也呈现出分化趋势。大模型预训练需要大规模的算力资源池，而推理应用则对算力性能的要求相对较低，更注重低功耗和实时处理。中国电信大模型首席专家刘敬谦表示，目前算力供应商的客户主要集中在头部企业，且往往要求签订长期的算力租赁协议。
尽管如此，AI推理应用市场并未如预期中迎来爆发。洪锐认为，目前行业中尚未出现一款能够在企业中大规模铺开的应用，大模型本身的技术能力还有缺陷。不过，随着AI应用的逐渐渗透，推理算力需求的增长是一个确定趋势。英伟达管理层也表示，未来推理算力的收入将持续提升。
在算力市场供需错配的背景下，如何提高算力利用率成为关键。当前，中国算力市场的计算效率并不高，即使是OpenAI在GPT-4的训练中，算力利用率也只有32%-36%。中国工程院院士邬贺铨坦言，我国算力的利用率只有30%。
为了提高算力利用率，各类玩家纷纷入局，通过软件算法等方式提升计算效率。这些玩家大致可以分为三类：一是大型国资央企，如中国电信，通过构建算力资源池和整合社会算力闲置资源，提高算力利用率；二是以互联网公司为主的云厂商，如阿里云、百度智能云等，积极从CPU云转型至GPU云，形成全栈技术能力；三是基于算法提升算力计算效率的创业公司，如图灵新智算、趋镜科技等，通过单点技术突围，在行业中占据一席之地。
中国电信通过息壤·智算一体化平台，整合社会算力闲置资源，实现跨服务商、跨地域、跨架构的统一管理和调度。云轴科技则发布了新一代AI Infra基础设施ZStack AIOS平台智塔，帮助企业客户进行大模型新应用的落地部署。图灵新智算则希望搭建独立的整合算力闲置资源的平台，进行算力的调度、出租和服务。
尽管算力租赁市场同质化严重，但专业化、精细化运营的算力服务将成为未来的发展趋势。IDC发布的报告显示，2024年上半年中国智算服务整体市场同比增长79.6%，市场规模达到146.1亿元人民币。洪锐认为，智算3.0时代的终局一定是专业化、精细化运营的算力服务。
然而，中国算力市场仍面临巨大挑战。高端GPU芯片短缺，国内GPU市场过于碎片化，且各家GPU都有独立的生态体系，导致适配成本非常高。尽管如此，智算的20年长周期才刚刚开始，未来充满机遇和挑战。
