独立的 MLC Chat App 目前已经上架苹果 App Store。感兴趣的小伙伴们可以下载进行尝试。
与在您的设备上运行的开放式语言模型进行离线、本地聊天。
MLC Chat允许用户在ipad和iphone上使用本地开放语言模型进行聊天。模型下载到应用程序后，一切都在本地运行，没有服务器支持，也没有互联网连接，也不会记录任何信息。
由于模型在本地运行，因此它仅适用于具有足够VRAM的设备，具体取决于所使用的模型。
MLC Chat是开源项目MLC LLM的一部分，允许任何语言模型在一组不同的硬件后端和本地应用程序上本地部署。MLCChat是一个在手机上运行不同开放模型架构的运行时。该应用程序用于非商业目的。它允许您运行从互联网下载的开放语言模型。每种型号都有各自的许可证。
“MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上，此外还有一个高效的框架，供每个人进一步优化自己用例的模型性能。一切都在本地运行，无需服务器支持，并通过手机和笔记本电脑上的本地 GPU 加速”。
这个项目的开发者来自卡内基梅隆大学的 Catalyst 计划、SAMPL 机器学习研究小组以及华盛顿大学、上海交通大学和 OctoML 等。他们还有一个名为 Web LLM 的相关项目，该项目可以完全在网络浏览器中运行 AI 聊天机器人。
MLC Chat 的 App Store 页面：点此查看
MLC LLM 的 GitHub 页面：点此查看
© 版权声明
文章版权归作者所有，未经允许请勿转载。
