标签:插值

扩展LLMs的上下文窗口

扩展LLMs的上下文窗口 本文介绍了一种称为位置插值(PI)的方法,可以将基于RoPE的预训练LLM的上下文窗口大小扩展到32768个位置,并在各种任务上展示了强大的...