1.5TB 压到 214GB：腾讯混元 Hy4 preview 轻量版发布开源，异构设备可联合推理

IT之家 9 月 1 日消息，腾讯混元团队今日宣布推出 Hy4 preview 轻量版，将 Hy4 preview 的模型权重从接近 1.5TB 压缩至约 214GB。IT之家注：Hy4 preview 是腾讯于 8 月 28 日发布并开源的新一代 MoE（混合专家）大语言模型，总参数量 770B（7700 亿），激活参数 49B，上下文长度达 100 万 Token。此次压缩依托两项核心技术：其一是 Sherry 稀疏三值量化算法，将路由专家层权重压缩至平均 1.25 比特；其二是 MIX-STQ1_0 混合精度策略，依据校准数据逐层决定每层的量化位宽，敏感层保留较高精度（2.06 比特 IQ2_XXS），不敏感层采用更激进的 STQ1_0（1.31 比特）。两种技术结合，使模型在主流任务上表现稳定 —— 长文理解几乎与原始 BF16 模型持平，多轮长上下文检索基本在同一水平，数学能力仅

原文：IT之家