AI 开源导航

中文English

精选 AI 领域高质量开源项目，按类别整理，支持关键词搜索与排序。

全部AI 应用平台LLM 推理与部署LLM 推理与部署LLM 推理与部署LLM 推理与部署LLM 推理与部署LLM 推理与部署LLM 推理与部署LLM 推理与部署RAG 与知识库RAG 与知识库RAG 与知识库RAG 与知识库RAG 与知识库RAG 与知识库RAG 与知识库RAG 与知识库向量数据库向量数据库向量数据库向量数据库向量数据库向量数据库向量数据库向量数据库图像生成图像生成图像生成图像生成图像生成图像生成图像生成图像生成智能体框架训练与微调训练与微调训练与微调训练与微调训练与微调训练与微调训练与微调训练与微调语音识别语音识别语音识别语音识别语音识别语音识别语音识别语音识别
排序：名称Star最新

Animatediff

一、项目简介 AnimateDiff 是开源的动画/视频生成…
LLM 推理与部署
GitHub

Aphrodite Engine

一、项目简介 Aphrodite Engine 是面向本地部…
LLM 推理与部署
GitHub

Bentoml

一、项目简介 BentoML 是开源的模型服务化框架，用于把…
LLM 推理与部署
GitHub

Dspy

一、项目简介 DSPy 是斯坦福开源的「提示编程（Promp…
LLM 推理与部署
GitHub

Elasticsearch

一、项目简介 Elasticsearch 是成熟的开源搜索与…
LLM 推理与部署
GitHub

Gpt4all

一、项目简介 GPT4All 是 nomic-ai 开源的本…
LLM 推理与部署
GitHub

Guidance

一、项目简介 Guidance 是微软开源的模板化 LLM …
LLM 推理与部署
GitHub

Jan

一、项目简介 Jan 是开源的本地 ChatGPT 替代品，…
LLM 推理与部署
GitHub

Jina Embeddings

一、项目简介 Jina Embeddings 是 Jina …
LLM 推理与部署
GitHub

Koboldcpp

一、项目简介 KoboldCpp 是易用的本地大语言模型运行…
LLM 推理与部署
GitHub

Kserve

一、项目简介 KServe 是 Kubernetes 原生的…
LLM 推理与部署
GitHub

Label Studio

一、项目简介 Label Studio 是开源的数据标注平台…
LLM 推理与部署
GitHub

Langchain4j

一、项目简介 LangChain4j 是 Java 生态的 …
LLM 推理与部署
GitHub

Langsmith

一、项目简介 LangSmith 是 LangChain 官…
LLM 推理与部署

Lightllm

一、项目简介 LightLLM 是轻量级高性能的 LLM 推…
LLM 推理与部署
GitHub

Lmdeploy

一、项目简介 LMDeploy 是上海人工智能实验室开源的大…
LLM 推理与部署
GitHub

LocalAI

一、项目简介 LocalAI 是开源的本…
LLM 推理与部署协议 MIT★ 50kGo
GitHub官网

Minigpt 4

一、项目简介 MiniGPT-4 是开源的轻量多模态模型，通…
LLM 推理与部署
GitHub

Mlc Llm

一、项目简介 MLC LLM 是通用的大模型部署引擎与编译器…
LLM 推理与部署
GitHub

NVIDIA TensorRT-LLM

NVIDIA 的大模型推理加速库，通过算…
LLM 推理与部署协议 Apache-2.0★ 15kC++
GitHub官网

Ollama

在本地一键下载、运行与管理大语言模型（L…
LLM 推理与部署协议 MIT★ 184.9kGo
GitHub官网

Onnx

一、项目简介 ONNX（Open Neural Networ…
LLM 推理与部署
GitHub

Onnx Runtime

一、项目简介 ONNX Runtime 是跨平台的高性能推理…
LLM 推理与部署
GitHub

Open Interpreter

一、项目简介 Open Interpreter 是开源的本地…
LLM 推理与部署
GitHub

Openllm

一、项目简介 OpenLLM 是 BentoML 团队开源的…
LLM 推理与部署
GitHub

Openvino

一、项目简介 OpenVINO 是 Intel 开源的推理优…
LLM 推理与部署
GitHub

Optimum

一、项目简介 Optimum 是 Hugging Face …
LLM 推理与部署协议 Apache-2.0★ 3.5kPython
GitHub

Outlines

一、项目简介 Outlines 是开源的结构化文本生成库。它…
LLM 推理与部署协议 Apache-2.0★ 16kPython
GitHub

Powerinfer

一、项目简介 PowerInfer 是面向消费级硬件的高速推…
LLM 推理与部署协议 MIT★ 9.9kC++
GitHub

Ray

一、项目简介 Ray 是开源的分布式计算框架，提供简洁的 A…
LLM 推理与部署协议 Apache-2.0★ 44.2kPython
GitHub

Sglang

一、项目简介 SGLang 是由 LMSYS 团队开源的高性…
LLM 推理与部署协议 Apache-2.0★ 38.4kPython
GitHub

Spring Ai

一、项目简介 Spring AI 是 Spring 官方推出…
LLM 推理与部署协议 Apache-2.0★ 9.6kJava
GitHub

Tabbyapi

一、项目简介 TabbyAPI 是基于 ExLlamaV2 …
LLM 推理与部署协议 AGPL-3.0★ 1.5kPython
GitHub

Tensorflow Serving

一、项目简介 TensorFlow Serving 是 Go…
LLM 推理与部署协议 Apache-2.0★ 6.4kC++
GitHub

Tensorrt

一、项目简介 TensorRT 是 NVIDIA 的高性能深…
LLM 推理与部署协议 Apache-2.0★ 13.4kC++
GitHub

Text Generation Inference

一、项目简介 Text Generation Inferen…
LLM 推理与部署协议 Apache-2.0★ 10.9kPython
GitHub

Text Generation WebUI

功能全面的本地大模型 Web 界面，支持…
LLM 推理与部署协议 AGPL-3.0★ 47.7kPython
GitHub官网

Torchserve

一、项目简介 TorchServe 是 PyTorch 官方…
LLM 推理与部署协议 Apache-2.0★ 4.3kJava
GitHub

Triton Inference Server

一、项目简介 Triton Inference Server…
LLM 推理与部署协议 BSD-3-Clause★ 11.1kPython
GitHub

Vespa

一、项目简介 Vespa 是开源的大规模在线检索与推荐引擎，…
LLM 推理与部署协议 Apache-2.0★ 7.2kJava
GitHub

Xinference

开源模型推理平台，一条命令即可部署 LL…
LLM 推理与部署协议 Apache-2.0★ 9.6kPython
GitHub官网

llama.cpp

纯 C/C++ 实现的 LLM 推理框架…
LLM 推理与部署协议 MIT★ 132.4kC++
GitHub官网

vLLM

高性能 LLM 推理与服务引擎，核心 P…
LLM 推理与部署协议 Apache-2.0★ 95.6kPython
GitHub官网