GLM-5.1高速版：400 tokens/s，顶尖模型跑出最快速度
智谱 2026-05-22 09:41 北京
Coding时代，速度是爽点。
今天，我们面向部分企业客户提供GLM-5.1高速版API“GLM-5.1-highspeed”。模型输出速度达到400 tokens/s，刷新当前全球大模型厂商API的速度上限。
这一速度意味着，一位写作者连续伏案数天才能写完的文字量，它在1分钟内便交付完毕；一名工程师埋头敲键盘3天才能完成的开发任务，它能在喝一杯咖啡的时间里完成。
更重要的是，在过去，“快”往往意味着“小”，高速模型几乎总是轻量级模型。GLM-5.1高速版打破了这一行业惯例，首次在国产大模型中，将旗舰级能力与极致低延迟同时带入生产环境，无需再为响应速度牺牲模型质量。
我们对比了GLM-5.1高速版与GLM-5.1普通版的速度与效果，如下：
在长程任务中，GLM-5.1高速版在30秒内完成复杂网页
在Agent Swarm中，GLM-5.1高速版瞬间调度50个不同人格来并行回答
不是快的模型，而是快的旗舰模型
过去一年，国内大模型的Coding能力快速提升，而Coding恰恰是AI应用中对速度较为敏感的场景之一。
一个Coding Agent任务往往需要经历数十轮模型调用，单轮响应只要慢上几秒，整体耗时就可能拉长十几分钟；面对长程任务的大型重构项目，每一步响应慢1秒，逐步累加又是几分钟的空等。
GLM-5.1高速版在完整保留GLM-5.1能力的基础上，第一次拥有“即问即答”的响应速度，带来的体感完全不同，模型开始真正成为一个可以实时协作的伙伴，和你坐在一起盯着画布调参。
实测1：写代码像开启了10倍速，模型能够一边理解工程上下文，一边持续生成代码与修改方案，你刚输入需求，函数、接口与调用链已经同步展开。
实测2：玩家控制一个角色在3D地图里移动，输入文字，模型会根据输入的文字瞬时建模，场景实时改变。此前因延迟而无法实现的全新产品形态，开始真正具备落地可能。
实测3：用户提出需求的那一刻，模型可以即时生成出恰好匹配这个需求的工具与交互，甚至可以意图判断，这正是一种新型操作系统的雏形。
速度背后：TileRT高性能推理引擎
GLM-5.1高速版API“GLM-5.1-highspeed”由智谱GLM团队与TileRT团队联合打造，在推理引擎、调度系统与底层基础设施三个层面进行了系统级优化：
- 推理引擎层：针对GLM-5.1的架构特点，重写了核心推理路径，有效提升了单卡吞吐能力；
- 调度系统层：通过动态批处理、请求合并和KV缓存调度优化，显著降低高并发场景下的尾延迟；
- 基础设施层：围绕推理集群部署、网络链路、负载均衡进行协同优化，确保400 TPS不是一个“峰值”数字，而是稳定可用的生产级能力。
模型推理速度的理论上限由硬件决定，但真实系统通常距离物理极限仍存在巨大差距。核心问题在于推理框架的调度方式。当前主流框架仍以operator/kernel作为基本调度单元，每个算子都要经历“host启动→读权重→计算→写回→同步”的严格完整链路。当推理进入单token、小batch、多卡TP的场景后，算子被切到微秒级，原本可忽略的调度、访存与同步开销会被迅速放大。
TileRT的设计思路，是彻底抛弃Runtime层的动态调度，在编译期（AOT）将整个计算图静态编排为一个常驻GPU的persistent Engine Kernel。在单卡之内，计算、异步IO与通信被全部拆解为Tile级微任务，整个推理过程只Launch一次Engine Kernel，算子间的中间结果不再写回Global Memory，而是经由Register、Shared Memory与L2 Cache直传，host调度与跨算子同步被悉数压进同一个常驻kernel。在多卡尺度上，TileRT进一步将SM内部的Warp Specialization思路外推到整张8卡NVL拓扑。不同GPU rank不再执行同构逻辑，而是按计算密度与数据依赖被特化为不同worker。
面向速度敏感场景开放
GLM-5.1高速版适用于AI编程、实时交互、商业决策、实时语音等对响应延迟要求极高的场景，现已面向智谱MaaS平台部分企业客户开放服务。
我们将持续推进推理引擎的工程优化，进一步扩大高速模型的服务能力，让更多企业与开发者与能够获得低延迟、高智能的生产级AI能力。