AI推理将占算力需求70%：谁在降低Token成本？
在2026年6月25日举行的IDC中国ICT市场趋势论坛上，IDC中国副总裁周震刚公开表示，到2027年，人工智能推理任务将占据智能算力总需求的70%以上。这一预测标志着AI产业重心正从训练阶段向推理阶段加速迁移。与此同时，周震刚指出，边缘基础设施的部署增速将超过传统核心数据中心，反映出AI应用场景正从集中式云平台向终端侧、现场侧快速扩散。他还提到，全球加速计算服务器市场规模预计将在2029年突破1万亿美元，年复合增长率超过30%。更重要的是，AI领域的竞争焦点已发生根本性转变——不再是谁拥有最强的原始算力，而是谁能以最低的Token成本将AI能力转化为可持续的商业价值。
推理主导：智能算力需求结构的根本性重构
过去数年，AI产业的发展逻辑高度依赖大规模模型训练，GPU等高性能芯片的需求主要由训练任务驱动。然而，随着主流大模型架构趋于稳定、开源模型生态日益成熟，企业部署AI的重点正从“造模型”转向“用模型”。推理，即利用已训练好的模型对新输入数据进行实时响应，已成为AI落地的核心环节。无论是智能客服、视觉质检、自动驾驶决策，还是金融风控与个性化推荐，这些高频率、低延迟的应用场景都依赖高效的推理能力。
IDC预测推理将占智能算力需求70%以上，意味着未来两年内，推理负载将成为数据中心和边缘节点的主要算力消耗来源。这一结构性变化对硬件架构、软件栈优化和能耗管理提出了全新要求。与训练任务偏好高吞吐、长周期的计算不同，推理更强调低延迟、高能效和成本可控。因此，专用推理芯片（如NPU、TPU）、稀疏化模型压缩技术以及动态批处理调度策略的重要性显著提升。
值得注意的是，这一趋势也推动了算力部署位置的下沉。周震刚特别强调，边缘基础设施的增速将超过核心数据中心。这表明，为满足实时性要求，越来越多的推理任务将在靠近数据源的边缘设备或本地服务器上完成，而非全部回传至云端。例如，在智能制造工厂中，视觉检测系统需在毫秒级内完成缺陷识别；在智慧城市交通管理中，路口摄像头需即时分析车流并调整信号灯。这类场景无法承受云端往返的网络延迟，必须依赖本地化推理能力。
加速计算服务器市场：万亿美元赛道的爆发前夜
支撑这一推理浪潮的底层基础设施，正是加速计算服务器。IDC预测该市场将在2029年达到1万亿美元规模，年复合增长率超30%。这一数字不仅反映了AI渗透率的全面提升，也揭示了传统通用计算架构正在被异构加速架构大规模替代。
加速计算服务器通常集成GPU、FPGA、ASIC等专用处理器，专为并行计算密集型任务设计。在AI推理场景中，这类服务器可通过量化、剪枝、知识蒸馏等技术，在保持模型精度的同时大幅降低计算开销和功耗。随着模型即服务（MaaS）和AI代理（Agent）生态的兴起，企业对按需调用、弹性扩展的推理资源需求激增，进一步刺激了加速服务器的采购与部署。
尽管当前但这一预测方向与行业演进逻辑高度一致。近年来，英伟达、AMD、英特尔以及众多中国本土芯片厂商均大幅加码推理优化产品线。云服务商如AWS、Azure、阿里云也纷纷推出针对推理优化的实例类型，并通过自动扩缩容、模型缓存等机制降低单位Token处理成本。这些举措共同构成了加速计算服务器市场高速增长的基础动力。
竞争范式转移：从算力军备竞赛到Token成本效率
或许最具颠覆性的观点在于，IDC明确指出：“AI领域的竞争优势已经转移：关键不再是拥有最强的算力，而是如何以最低的Token成本将AI转化为可持续的业务能力。”这一论断标志着AI商业化进入深水区。
在早期阶段，企业竞相采购高端GPU、构建超大规模集群，试图通过算力优势训练出更强大的模型。然而，随着模型性能边际收益递减，以及推理成本成为运营支出的主要部分，单纯堆砌算力已难以为继。Token成本——即处理每个输入/输出文本单元所需的计算资源与电力消耗——正成为衡量AI系统经济可行性的核心指标。
降低Token成本的路径多元：包括采用更高效的模型架构（如Mamba、MoE）、优化推理引擎（如TensorRT、vLLM）、实施动态批处理与连续批处理（continuous batching），以及在边缘侧部署轻量化模型。此外，软硬协同设计也成为关键，例如定制芯片支持特定精度格式（如FP8、INT4），或内存带宽优化以减少数据搬运开销。
对于企业而言，这意味着AI战略需从技术导向转向业务价值导向。能否将AI能力嵌入现有工作流、提升人效或创造新收入，比模型参数量或基准测试分数更为重要。例如，一家电商公司若能通过低成本推理实现千人千面的实时推荐，从而提升转化率，其AI投入回报将远高于仅拥有一个高分但昂贵的大模型。
投资与产业布局的再思考
这一趋势对投资者和产业链参与者具有深远启示。首先，边缘AI芯片、推理优化软件、液冷散热方案、低功耗服务器设计等领域将迎来结构性机会。其次，传统数据中心运营商需重新评估其基础设施规划，增加对边缘节点和分布式推理架构的支持。最后，AI初创企业的估值逻辑也将发生变化——市场将更关注其单位经济模型（unit economics）和实际业务渗透率，而非单纯的模型能力或融资规模。
综上所述，IDC的预测不仅描绘了智能算力需求的未来图景，更揭示了AI产业从技术探索期迈向规模化商业应用的关键拐点。推理主导、边缘优先、成本为王，这三大特征将共同塑造2027年前后的AI基础设施格局。在全球加速计算服务器市场迈向万亿美元的过程中，真正的赢家或许不是算力最强者，而是最懂得如何让每一分算力都产生商业回报的实践者。
