AWS SageMaker 是由 Amazon Web Services （AWS） 提供的一项完全托管的服务，允许开发人员和数据科学家大规模构建、训练和部署机器学习模型。它旨在使机器学习过程对广大用户更易于访问和扩展。
最近可用的开源AI模型，如Meta的Llama 2已经成为黄金标准，彻底改变了我们与机器互动的方式。虽然他们的应用程序非常广泛，但部署如此复杂的模型可能会令人生畏。这就是 AWS SageMaker 介入的地方，它提供了一个无缝的部署平台。如果您想知道如何开始，那么您来对地方了。让我们揭开使用深度学习容器（DLC）在SageMaker上部署Llama2背后的魔力。
Llama 2 是 Meta 发布的一系列最先进的开放访问大型语言模型。Llama 2 正在以非常宽松的社区许可证发布，并可用于商业用途。代码、预训练模型和微调模型现在可以从HuggingFace等网站获得。
什么是深度学习容器？
- 针对性能进行了优化：DLC 预先打包了深度学习框架，可确保最佳的运行时性能。
- 灵活性：它们适应各种深度学习任务，无论是训练还是推理。
- 兼容性：它们还针对 AWS 基础设施量身定制，使您的部署过程顺利进行。
您会很高兴地知道 AWS 为 Llama2 等流行型号提供了预构建的 DLC 映像，使部署过程更易于访问。查看正在创建的一系列视频的第一部分，这些视频将指导您使用 AI Anytime 善意创建的深度学习容器在 AWS SageMaker 上实施 Llama 2。
使用 DLC 在 SageMaker 上部署 Llama2 的步骤
1. 访问预建的 DLC 镜像
我们旅程的起点涉及访问预先构建的 DLC 映像。AWS 提供了这些映像的综合库。要查找 Llama2 的图像：
- 导航到 AWS DLC 存储库。
- 使用搜索功能并键入“Llama2”。
- 找到后，记下图像 URL。我们很快就会使用它。
2. 设置 AWS SageMaker
在深入了解 SageMaker 配置之前，请确保您拥有 AWS 账户。如果没有，只需注册并继续。
SageMaker 笔记本实例：
- 打开 SageMaker 控制台。
- 选择“笔记本实例”，然后单击“创建笔记本实例”。
- 填写详细信息，确保实例类型符合您的需求。
- 在权限下，选择具有 SageMaker 权限的 IAM 角色。
一旦您的笔记本实例处于活动状态，就该动手进行一些配置了！
3. 为 Llama2 部署配置 SageMaker
这一部分是真正的魔术发生的地方。留在我身边;它比听起来简单！
SageMaker 端点：
- 在 SageMaker 笔记本中，导入 SageMaker Python SDK。这个SDK是我们在Llama2模型和SageMaker之间的桥梁。
- 使用该函数，输入您之前记下的 DLC 图像 URL。
Estimator - 设置估算器后，使用该方法进行部署。
deploy
4. 做出预测
部署后，进行预测变得轻而易举。只需将您的输入数据提供给对象并见证 AI 的魔力。瞧！您现在已经使用 DLC 在 SageMaker 上成功部署了 Llama2。以下是 AWS SageMaker 的一些关键功能和方面：predictor
AWS SageMaker 功能
- 集成的Jupyter Notebooks：SageMaker提供内置的Jupyter笔记本，允许用户直接在SageMaker环境中探索数据集和构建模型。
- 灵活的训练选项：用户可以使用 SageMaker 提供的预构建算法训练模型，也可以使用自己的自定义算法。该平台可扩展以处理大型数据集和计算需求，自动管理底层基础设施。
- 一键式部署：训练模型后，只需单击一下即可将其部署在 SageMaker 中进行实时预测。SageMaker 管理部署的各个方面，从自动扩展到 A/B 测试。
- 自动模型调优：SageMaker 自动驾驶仪和超参数调优可自动优化模型参数，以提高预测的准确性。
- 预构建的深度学习框架：SageMaker 为流行的深度学习框架（如 TensorFlow、PyTorch 和 MXNet）提供预构建的容器，使开发人员无需管理依赖项即可更轻松地开始使用。
- 内置算法：AWS SageMaker 提供了多种针对特定任务（如分类、回归、集群等）优化的开箱即用算法。
- 安全性：SageMaker 与 AWS Identity and Access Management （IAM） 集成，以确保您的数据和模型安全无虞。此外，用于训练和预测的数据可以在传输中和静态时进行加密。
- 监控和调试：SageMaker 提供 SageMaker 调试器和 SageMaker 模型监视器等工具，允许用户监控其已部署模型的运行状况并在训练期间调试问题。
- Ground Truth：通过集成人工标记器和主动学习来促进数据标记过程的功能。
- 与其他 AWS 服务集成：SageMaker 与其他 AWS 服务无缝集成，如 S3（用于数据存储）、Lambda（用于事件驱动计算）等，允许用户构建全面的机器学习管道。
