MLC LLM 是一種通用解決方案，它允許將任何語言模型本地部署在各種硬件後端和本地應用程序上。
此外，MLC LLM 還提供了一個高效的框架，供使用者根據需求進一步優化模型性能。 MLC LLM 旨在讓每個人都能在個人設備上本地開發、優化和部署AI 模型，而無需服務器支持，並通過手機和筆記本電腦上的消費級GPU 進行加速。
MLC LLM 支持的平台包括：
-
iPhone
-
Metal GPU 和英特爾/ ARM MacBook;
-
在Windows 和Linux 上支持通過Vulkan 使用AMD 和NVIDIA GPU；
-
在Windows 和Linux 上通過CUDA 使用NVIDIA GPU；
-
瀏覽器上的WebGPU（借助MLC LLM 的配套項目Web LLM）。
MLC LLM 的整體WorkFlow：
#MLC #LLM首頁文檔和下載 #本地大語言模型 #程式开发