Kimi K3超越前代的关键技术

Kimi K3采用Kimi Delta Attention混合线性注意力机制和Attention Residuals技术，结合MoE架构，激活896个专家中的16个，使整体扩展效率比Kimi K2提升约2.5倍。

来源