腾讯云张晋:AI下半场,拼的是工程化能力
MWC26上海期间举办的“智能数据中心峰会”上,腾讯云运营商解决方案总经理张晋发表《从跑得快,到跑得慢:智算中心从建设到变现的工程解法》的主旨演讲。他表示,智算中心不再是单独的“机房”,而是一座座实时生产Token的AI工厂,Token已经成为智算时代的重要计量单位。
因此,智算中心每天能生产多少Token,单位能耗,单位资本投入能换取多大收入成为关键指标。张晋表示:“IDC从业者的身份和定位也要随之改变,过去是算力供应商,交付机柜空间和GPU,未来要转型成为Token经营者,客户核心关切不再是底层硬件选型,而是Token的响应速度和单位成本。”
消失的算力:“30%利用率”之困
张晋介绍,相关研究数据表明,国内智算中心GPU平均利用率不足30%。为了进行量化分析,腾讯云提出“算力生产力=标称算力×效能系数×满载系数”的核心公式,标称算力是规格说明书上的数字,因此真正决定算力产出的是效能和满载系数。
效能系数是衡量单位时间内算力的实际发挥程度,也就是GPU跑得快不快,目前平均只有0.6;满载系数是衡量时间维度上GPU的利用密度,例如24小时内一张GPU实际有效工作占比,也就是GPU跑得满不满,受潮汐现象影响,平均数据为0.5。
也就是说,100%的标称算力因效能衰减、满载损耗,最终仅剩30%的利用率,万亿级的投资,有70%在空转。
因此,智算中心每天能生产多少Token,单位能耗,单位资本投入能换取多大收入成为关键指标。张晋表示:“IDC从业者的身份和定位也要随之改变,过去是算力供应商,交付机柜空间和GPU,未来要转型成为Token经营者,客户核心关切不再是底层硬件选型,而是Token的响应速度和单位成本。”
消失的算力:“30%利用率”之困
张晋介绍,相关研究数据表明,国内智算中心GPU平均利用率不足30%。为了进行量化分析,腾讯云提出“算力生产力=标称算力×效能系数×满载系数”的核心公式,标称算力是规格说明书上的数字,因此真正决定算力产出的是效能和满载系数。
效能系数是衡量单位时间内算力的实际发挥程度,也就是GPU跑得快不快,目前平均只有0.6;满载系数是衡量时间维度上GPU的利用密度,例如24小时内一张GPU实际有效工作占比,也就是GPU跑得满不满,受潮汐现象影响,平均数据为0.5。
也就是说,100%的标称算力因效能衰减、满载损耗,最终仅剩30%的利用率,万亿级的投资,有70%在空转。
天津融诺科技有限公司&辽宁融诺电子商务有限公司 主办 技术支持:北方云数据 www.aw9.net
地址:天津市武清区河西务镇 电子邮件: db#aw9.net


