算力与电费:AI落地的隐性账本
最近走访了几家正在使用AI技术的企业,记录了一些实际运行中的情况。目前观察到,虽然AI应用已经在不少环节铺开,但背后的成本结构仍然比早期预期复杂得多。
算力支出是目前最显性的压力。一些中小型企业反映,模型推理的GPU资源消耗持续维持在较高水平,特别是需要实时响应的业务场景。有技术负责人提到,目前的算力采购仍然以租赁为主,但长期租赁合同的价格谈判还比较困难。部分企业尝试用混合云方案分摊成本,实际运行中发现数据迁移和同步的维护工作量不小。
电力消耗是另一个被频繁提及的问题。训练阶段的电费支出已经广为人知,但目前观察到,推理阶段的能耗同样不可忽视。一些部署了本地模型的制造业企业表示,机房的散热和电力扩容仍然需要时间逐步解决。有数据中心的运维人员提到,夏季高温期间的电力供应波动对稳定性构成了持续挑战。
人才方面的压力仍然存在。目前观察到,能够同时理解业务逻辑和模型调优的工程师仍然比较稀缺。一些传统企业的IT部门反映,现有人力转向AI运维的学习曲线比预期长,外部招聘的薪资成本也维持在高位。此外,模型的持续迭代带来了额外的维护负担,版本管理和回滚机制的建立还比较初步。
从资源回收的角度看,目前的情况还比较困难。部分企业早期购买的专用硬件现在面临利用率不足的问题,二手市场的流通性有限。数据标注和清洗的人力成本也没有明显下降,高质量的行业数据获取仍然需要投入大量时间。
企业端的投入态度目前趋于谨慎。去年一些激进上马的AI项目,今年观察到正在经历预算复审。有财务负责人表示,ROI的计算方式仍然不够清晰,部分场景的增效效果需要时间才能量化。目前看到的普遍做法是,先在小范围验证,再决定是否扩大部署规模。
基础设施方面,网络带宽和存储扩容的压力也在显现。多模态应用的增长带来了数据量的快速膨胀,一些企业的存储架构调整还没有完全跟上。边缘计算节点的部署进度也比原计划慢,主要是因为现场环境的改造需要协调多个部门。
总的来说,目前AI技术的落地仍然处于需要耐心打磨的阶段。成本结构比最初想象的更复杂,资源约束也没有快速缓解的迹象。这些情况还需要持续观察。
