为什么 GPT-3.5（大部分情况）比 Llama 2 便宜

为什么 GPT-3.5（大部分情况）比 Llama 2 便宜

Llama-2-70B是gpt-3.5的一种诱人的替代选择，但如果寻找廉价的语言模型，偏离OpenAI的API可能不值得。在考虑价格和延迟时，不应该使用Llama-2来处理重负载的工作，而是适用于以提示为主的任务，例如分类。当工作负载没有提示令牌时，使用Llama-2可能也是有意义的（虽然不直观，但稍后会解释）。在其他情况下，gpt-3.5应该更便宜更快。需要注意的是，使用Llama而不是gpt-3.5的一个原因是微调，但在本文中，我们只探讨成本和延迟。我没有将Llama-2与GPT-4进行比较，因为它更接近3.5级模型。