3.3GB 压到 440MB，混元极低 bit 翻译模型跑进直播弹幕
腾讯混元 2026-08-26 16:04 北京
这不是一个停留在实验室的 Demo，而是一个已经落地、可以体验的极低 bit 产品。
大模型量化的方案很多，但能同时做到「极低比特、几乎不掉点、真正落地」的并不多见。这一次，腾讯混元团队把一个媲美商业翻译 API 的 Hy-MT2-1.8B 翻译模型，通过 2-bit 与 1.25-bit 两套极致量化方案压缩到几百 MB，翻译质量几乎无损；并联合英特尔完成 x86 平台的算子适配、联合哔哩哔哩在直播弹幕实时翻译中完成落地。这不是一个停留在实验室的 Demo，而是一个已经落地、可以体验的极低 bit 产品。
一个又小又强的底座：Hy-MT2-1.8B
Hy-MT2-1.8B 是腾讯混元翻译模型族里主打端侧的版本，原生支持 33 个语种互译。别看它只有 1.8B，却是同尺寸里效果最强的选手之一：在 FLORES-200 通用翻译评测上，整体翻译质量优于 Microsoft Translator、Doubao Translator 等商业翻译 API。
但问题恰恰出在「小」上。1.8B 模型在 FP16 精度下依然要占用 3.3GB，即便做到 4-bit 量化也还需要 1GB 以上。对于经常多任务并发占用的端侧内存来说，这依然太大。要真正落地，就必须把它压得更狠。
两套极致量化方案
量化，简单说就是把模型里原本用32位或16位表示的参数改用更低位数存储，好比把高清图压成缩略图，体积骤减但内容依然清晰可辨。难点在于「压到极致还不掉点」。针对不同设备，混元推出了两档方案：
2-bit 模型，面向中高端设备。 它采用业内顶尖的拉伸弹性量化（SEQ），将参数量化至 {-1.5, -0.5, 0.5, 1.5}，并结合量化感知蒸馏（QAD），在把模型压缩至 574MB 的同时实现了几乎无损的翻译质量，效果超越体积上百 GB 的大模型。
1.25-bit 模型，面向全系设备。 它基于混元自研的 Sherry（稀疏高效三值量化）技术，该方案已被 NLP 顶级会议 ACL 2026 选为 Oral。Sherry 的核心是「细粒度稀疏」策略：每 4 个参数中，最重要的 3 个用 ±1 存储，另 1 个置 0，平均每个参数仅需 1.25-bit。配合专为 CPU 设计、完美适配 SIMD 指令集的 STQ 内核，3.3GB 的原始模型最终被压缩至 440MB，可常驻后台，让内存紧张的普通设备也能顺滑运行高质量翻译。
借助极致量化技术，原本依赖云端算力的翻译大模型，如今能够以更低的成本实现本地部署，替代消费级翻译 API，显著降低了大模型翻译的使用门槛与部署开销。由于翻译全程在设备本地完成，数据无需上传云端，用户隐私得到充分保障。同时，模型在压缩后依然保持稳定、可靠的表现。低成本、重隐私、高质量，三者兼得。
HY-MT2 翻译指标
AngelEdge App 1.25 bit 翻译模型 速度演示
英特尔在 x86 上的算子优化
极低 bit 模型最初面向手机 ARM CPU 设计。为让它在 x86 生态上同样高效，英特尔团队着重优化了量化矩阵运算中的向量化、权重重排和 VNNI 指令融合环节，使 Hy-MT2 的低比特量化格式 Q2_0C 与 STQ 在英特尔主流机型上（包含最新的第三代酷睿Ultra以及酷睿处理器）的 token rate 分别提升约 2.7 倍和 5 倍，把极低 bit 方案从移动端一路铺到了 PC 与边缘设备。
基于英特尔酷睿® Ultra X7 Processor 358H 测试
BiliBili 直播弹幕翻译
而在真实业务场景中，哔哩哔哩已将极低比特模型接入直播弹幕实时翻译：整套资源下载约 600MB、内存占用 500~700MB，平均单条弹幕翻译耗时 500~800ms，在常规弹幕频率下即可实现实时翻译，并能准确接住「这波操作太丝滑了」「前方高能注意躲避」这类充满网感的表达。这也验证了极低 bit 量化在高并发真实场景下的可用性。
B站直播弹幕实时翻译演示
立即体验
● 在英特尔设备上的体验链接已就绪：
Hy-MT APP可在应用商店搜索【腾讯Hy翻译】下载
● 更多压缩模型可在 IOS 端体验：
● 开源权重：
技术细节可参考：
●Sherry 论文：
●Hy-MT2 技术报告：
●AngelSlim 技术报告：
●完整代码：