← 返回 AI 开源导航

Mlc Llm

LLM 推理与部署

GitHub 仓库

一、项目简介

MLC LLM 是通用的大模型部署引擎与编译器方案，基于 TVM 编译技术，能把同一个模型编译到多种后端（CUDA、Metal、Vulkan、WebGPU 等），实现「一次编译、多端运行」，包括浏览器、手机与边缘设备。

二、核心特性

  • 跨平台编译：CUDA / Metal / Vulkan / ROCm / WebGPU；
  • 浏览器端推理：通过 WebGPU 在网页直接跑模型；
  • 量化支持：多种低比特方案，降低显存；
  • 统一调用接口：OpenAI 兼容 API；
  • 模型覆盖广：Llama、Qwen、Mistral 等；
  • 编译优化：针对目标硬件生成高效内核。

三、适用场景

  • 浏览器 / 移动端运行大模型；
  • 跨设备统一部署与交付；
  • 推理编译优化研究。

四、快速上手

pip install mlc-llm
mlc_llm chat HF://mlc-ai/Llama-3-8B-Instruct-q4f16_1

五、注意事项

  • 需先编译模型，过程依赖 TVM 环境；
  • 浏览器端受设备性能限制，适合中小模型；
  • 注意各后端驱动与版本兼容。