如果您希望能够在自己的本地网络或计算机上安全，私密地测试，调整和玩大型语言模型（LLM），您可能会对一个名为Ollama的新应用程序感兴趣
Ollama是一个开源工具，允许用户在本地运行LLM，确保数据隐私和安全。本文提供了有关如何使用 Ollama 在本地计算机上运行开源 LLM（如 Llama 2、Code Llama 等）的综合教程。
大型语言模型已成为各种人工智能模型和应用的基石，从自然语言处理到机器学习。但是，运行这些模型通常需要将私有数据发送到第三方服务，这引起了对隐私和安全的担忧。
法学硕士隐私和安全
现在可用的Ollama是一种创新工具，旨在在本地运行大型语言模型，而无需将私有数据发送到第三方服务。它目前可在Mac和Linux上使用，Windows版本即将完成。Ollama 现在作为 Docker 赞助的官方开源镜像提供，简化了使用 Docker 容器运行 LLM 的过程。
为了获得最佳性能，其开发人员建议将Ollama与适用于macOS的Docker桌面一起运行，从而为模型启用GPU加速。Ollama 还可以在 Nvidia GPU 的 Docker 容器内以 GPU 加速运行。
Ollama 提供了一个简单的命令行界面 （CLI） 和一个 REST API，用于与应用程序进行交互。它支持在模型文件中导入 GGUF 和 GGML 文件格式，允许用户创建、迭代和上传模型到 Ollama 库进行共享。能够使用Ollama在本地运行的模型包括Llama 2，Llama2-uncensored，Codellama，Codeup，EverythingLM，Falcon，Llama2Chinese，Medllama2，Mistral 7B模型，Nexus Raven，Nous-Hermes，Open-orca-platypus 2和Orca-mini。
奥拉玛的安装过程很简单。它涉及下载文件、运行文件并将其移动到应用程序。要在命令行上安装它，只需单击安装并提供您的密码。安装后，您可以使用特定命令运行 Ollama 框架。
Ollama
Ollama 提供了运行不同模型的灵活性。运行 Llama 2 的命令是默认提供的，但您也可以运行其他模型，如 Mistal 7B。根据模型的大小，下载可能需要一些时间。GitHub 页面提供有关支持的不同模型、它们的大小以及运行它们的 RAM 要求的信息。
下载模型后，您可以开始试验它。该模型可以回答问题并提供详细的响应。Ollama 也可以通过 API 提供服务，允许与其他应用程序集成。可以监控模型的响应时间和每秒的令牌数量，从而提供有关模型性能的宝贵见解。Ollama还提供了其他一些功能，包括与其他平台的集成，如LangChain，Llama index和Light LLM。它还包括一个用于附加信息的“veros 模式”和一个杀死 Linux 进程的工具。这些功能使Ollama成为在本地运行LLM的多功能工具。
Ollama 提供了一种简单安全的方式来在本地计算机上运行开源大型语言模型。它支持广泛的模型、简单的安装过程和附加功能，使其成为任何使用大型语言模型的人的宝贵工具。无论您是运行Llama 2，Mistral 7B，还是尝试自己的模型，Ollama都提供了一个强大的平台来运行和管理LLM。
