Yarn: Efficient context window extension of large language models
本文系统梳理了基于旋转位置编码(RoPE)的长文本扩展技术演进,重点解析ICLR2024提出的YaRN算法。针对传统方法如PI、NTK-aware及NTK-by-parts在大倍率扩窗下存在的频段断层与远距离依赖建模不足问题,YaRN引入动态温度补偿与自适应斜坡缩放机制,实现零微调下长短文本性能均衡。其核心在于将温度缩放等价融入预计算的RoPE嵌入,无需修改注意力内核,推理无额外开销。结合动态NTK插值策略,构建出高效稳定的超长上下文扩展方案,成为当前开源生态中落地最广、性能最优的RoPE原生扩窗范式。
troubles maker2026-11-14 20:34:49