客服热线:+86 +86 186 4058 1930

信赖用户:12800位

每秒狂喷近500个token,智谱GLM-5.3高速版悄悄亮相

首页 / 博客详情

智东西10月12日讯,近期,智谱在其AI编程工具ZCode中,低调启动了高速旗舰模型GLM-5.3 HighSpeed的测试环节。

X平台上的人工智能编程博主Leo透露,他已获得该模型的灰度测试资格,其输出速率可突破490 tokens/s。

每秒490个token究竟意味着什么?目前,大模型API评估平台AI Ping的数据显示,DeepSeek V4.1 Flash官方API的输出速率为121.34 tokens/s,而智谱官方的GLM-5.3 API速率为70.84 tokens/s。换言之,GLM-5.3 HighSpeed的速度是当前国内主流模型的数倍之多。

GLM-5.3 HighSpeed现阶段仅对ZCode订阅用户随机开放,且未设立明确的内测申请通道。它在内测中展现出的极快速度也只能作为参考,最终仍需视其正式上线后,对外规模化提供服务时的实际表现。

ZCode灰度测试GLM-5.3 HighSpeed(图片来源:X平台@leo114119)

实际上,GLM-5.3 HighSpeed在一个月前就已出现在开源编程智能体Pi harness的官网上,该模型的输入输出价格尚未公开。

从模型的基本参数来看,GLM-5.3 HighSpeed拥有100万个token的上下文窗口,单次最多可输出131072个token,这与GLM-5.3的规格保持一致。

这并非智谱首次推出高速旗舰模型。今年5月,GLM-5.1就曾面向部分企业用户推出高速版API“GLM-5.1-highspeed”,模型输出速率达到400 tokens/s。

当时,智谱展示了高速模型在实际生产场景中的价值。一个Coding Agent任务通常需要经过数十轮模型调用,单轮响应若延迟数秒,整体耗时就可能延长十几分钟。

更快速的模型能为写代码的过程**“开启10倍速”**,模型能一边理解工程上下文,一边持续生成代码与修改方案。用户刚输入需求,函数、接口与调用链便同步展开,迭代速度显著提升。

这种输出速率主要得益于软硬件基础设施的优化。此前,GLM 5.1 Highspeed模型API由智谱GLM团队与TileRT团队联合打造,该API在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化:

在推理引擎层,研究团队针对GLM-5.1的架构特点,重写了核心推理路径,有效提升了单卡吞吐能力;

在调度系统层,他们通过动态批处理、请求合并和KV缓存调度优化,显著降低了高并发场景下的尾延迟;

最后,在基础设施层,团队围绕推理集群部署、网络链路、负载均衡进行协同优化,确保高速输出成为稳定可用的生产级能力。

TileRT的核心思路是放弃传统Runtime层的动态算子调度,将整个推理计算图在编译期静态编排成一个常驻GPU的persistent Engine Kernel,从而将调度、访存和同步开销压至最低。

如今,提升模型推理速度已成为不少厂商关注的焦点。除了推出专门的快速模型外,将旗舰模型的速度再提升一个量级也正成为新的竞争方向。在开云平台上,类似的优化趋势也日益受到重视。

本文来自微信公众号“智东西”(ID:zhidxcom),作者:陈骏达,编辑:李水清,36氪经授权发布。

粤ICP备2022551034号
KAIYUN SPORTS科技有限公司用心服务每一天电话:+86 186 4058 1930邮箱:[email protected]广州市天河区天河北路800号