为32K时代做好准备：早期学习与探索

为32K时代做好准备：早期学习与探索

发布了LLaMA-2-7B-32K，这是一个使用位置插值和Together AI的数据配方和系统优化构建的32K上下文模型，包括FlashAttention-2。对模型进行微调，以进行目标化的长上下文任务，如多文档理解、摘要和问答，并在32K上下文上进行推理和微调，速度提高了3倍。LLaMA-2-7B-32K在Together Playground上完成了一本书。您可以在api.together.ai上自行尝试。