任何对能够创建和运行私有AI大型语言模型感兴趣的人都可能对这个快速指南感兴趣，该指南提供了有关在较小上下文中运行Llama 2的更多信息，并实现了需要GPU租赁的完整32,000个代币。
这可能在每小时 70 美分到 1.50 美元之间，具体取决于平台和用户的具体要求。本文旨在提供有关如何在RunPod，AWS或Azure等平台上使用80GB A100 GPU实现这一壮举的综合指南。
初学者最容易访问的平台之一是谷歌合作。在这里，免费笔记本最多可以处理 8,000 个代币，但您也可以将此容量翻倍至 16,000 个代币。查看下面由Trelis Research精心制作的视频以了解更多信息。对于那些刚进入该领域的人来说，这是一个很好的起点，在继续执行更复杂的任务之前提供了坚实的基础。
对于那些寻求更好质量的人，您可以使用 13B 型号运行 Llama。但是，重要的是要注意，这需要权衡。较大的模型大小将上下文长度减少到 16k，但输出的质量显著提高。
专业笔记本
Code Llama PRO 32k 上下文长度提供了一系列功能，包括保存聊天、重新加载聊天、调整上下文长度和上传文件以供讨论的功能。这些功能提供了更具交互性和用户友好的体验，使运行 Llama 2 的过程更加高效和愉快。它可以以9.99欧元的价格购买。
- 允许保存和重新加载对话
- 允许上传和分析文档
- 适用于Google Colab或服务器（例如AWS，Azure，RunPod）
运行舱主要功能
- GPU 实例：这些是基于容器的 GPU 实例，可在几秒钟内部署。它们有两种形式：安全云和社区云。Secure Cloud 在 T3/T4 数据中心运行，以实现高安全性和可靠性，而社区云则提供将各个计算提供商与消费者连接起来的点对点系统。
- 无服务器 GPU：这是一种按秒付费的无服务器 GPU 计算服务，旨在将自动缩放引入生产环境。它是安全云产品的一部分，保证低冷启动时间以及强大的安全措施。
- AI 端点：这些是完全托管且可扩展的端点，专为各种 AI 和 ML 应用程序而设计，例如 Dreambooth、Stable Diffusion 和 Whisper。
附加功能：
- CLI / GraphQL API：用于自动化工作流程和管理计算作业。
- 多个接入点：用户可以通过各种接口（如 SSH、TCP 端口和 HTTP 端口）对作业进行编码、优化和运行。
- 按需和点 GPU：满足不同的计算需求。
- 持久卷：即使 Pod 停止，也能确保数据安全。
- 云同步：允许将数据无缝传输到任何云存储。
RunPod 为 AI 和 ML 工作负载提供全面的解决方案，提供传统的基于云的和无服务器的计算选项，以及用于 AI 和机器学习的专用功能。它与AWS和Azure等其他云提供商在同一领域竞争，但似乎提供了专门为AI / ML项目量身定制的功能。
