作者： Gartner 研究总监 张吟铃

AI和生成式AI用例从试点向生产环境的过渡，正在显著推高对计算能力的需求。氛围编码（vibe coding）以及嵌入业务工作流中的AI智能体等各类AI用例，都需要使用大语言模型来执行多步骤推理、自主任务编排和迭代式验证周期。这些工作负载显著推动了词元（token）消耗和基础设施资源需求的增长。虽然中国的基础设施和运营（I&O）负责人的首要任务仍然是持续优化AI成本，但证明其投资的价值也同样重要。

Gartner指出，虽然许多企业机构在实现生成式AI的投资回报率（ROI）方面面临挑战，但所有技术投资都存在固有风险，生成式AI也不例外。I&O负责人必须实施结构化框架，以最大程度地减少初始投资，利用专业平台来简化运营，并鼓励跨职能协同以实现完善的AI治理。通过清晰阐明AI的业务影响和价值，并持续提供战略性资金支持，企业将实现长期的绩效增长（见图1）。

图1：平衡成本控制与价值创造

控制并优化AI基础设施成本

传统上，基础设施资源配置通常依据结构化的业务预测和架构规划进行，但生成式AI的广泛热潮，导致基础设施容量需求出现极大波动性。为了应对这种不确定性并将投资保持在合理的预算范围内，I&O负责人必须制定具备韧性的战略，在支持企业AI计划的同时减少浪费，并尽可能地降低沉没成本。

最大程度减少前期投资，选择合适的托管地点

为了缓解初始财务支出，I&O负责人应利用托管服务生态系统（例如超大规模云服务提供商和GPU即服务）来实施AI计划，从而在避开本地托管巨额资本支出的同时，实现更快的交付和弹性的可扩展性。通过实施全面的工作负载部署框架，企业能够将不同的计算需求部署到最具成本效益的托管环境中。

鉴于代理型AI资源需求的固有波动性，许多企业机构一开始先在托管环境中进行实验，在消耗模式稳定之后再迁移到本地基础设施，以节省词元成本。采用这种战略性方法，可以防止在缺乏经过验证的长期AI战略路线图的情况下过早进行大规模投资。

优化资源利用，选择合适的工具

为了高效利用计算资源，团队需要清楚地了解各类工具的使用情况。应使用专业的AI管理工具来持续监控和分析基础设施性能，使IT团队能够根据需要调整容量，并在防止浪费的同时，确保技术投资与业务目标保持一致。

此外，基础设施成本取决于企业所选择的模型和平台；因此，应使用自动化和智能路由。将AI任务引导至最具成本效益的环境和模型配置中，可减少运营工作量和资源浪费。

尽可能提高资源效率，实现跨团队协作

通过AI FinOps实践来降低企业机构在整个AI生命周期中的成本，所使用的方式不仅仅是最大化GPU利用率，还包括调整工作负载设计和模型选择，以及利用AI工程化技术来管理成本。采用整体性方法，可确保AI技术栈的每个环节都对整体效率和价值做出贡献。I&O负责人应与AI开发团队和数据团队合作，提高AI的利用效率。

释放AI基础设施的价值

由于硬件提供商的持续涨价、电力和冷却需求增加、生成式AI模型的迭代以及代理型AI用例的意外支出，企业AI基础设施成本将继续上升。由于长期投资预计将出现增长，I&O负责人不能只着眼于成本控制，而应维持可持续的支出水平；还应构建完善的治理机制，并确保相关投入与价值驱动型业务成果协调一致。

及早明确AI业务用例，以评估AI价值

主动识别并定义AI业务用例对于基础设施规划至关重要，因为这能够确保资源与实际的战略目标（而非抽象的宏伟愿景）保持一致。如果对工作负载规模、延时和影响缺乏清晰的认识，企业机构将面临过度配置基础设施而造成资源闲置，或配置不足而无法满足需求的风险，从而阻碍关键计划的推进。通过明确定义用例，I&O负责人可以将宽泛的AI目标转化为对规模、时间安排和财务合理性证明的精准要求，最终加速价值实现。

利用单位成本经济学来展示业务价值

即使进行了持续的基础设施优化，AI成本也会随着使用量的增加而自然增长。随着AI采用的不断扩大，支持增加的工作负载量需要额外的基础设施，导致总支出上升——即使每个任务、交易或成果的单位成本随着时间的推移而下降。为了解释这些上升的费用，可以使用单位成本经济学（在本文中可理解为Tokenomics，即词元经济学），将AI成本从模糊的间接成本，转化为透明的、价值驱动的投资。通过将成本与业务成果（例如每次成功任务输出的成本和每个AI工作负载的成本）直接挂钩，I&O负责人可以改善问责制，优化预算管理，并支持可持续的AI增长。

建立AI成本治理机制，以实现可扩展增长