llama.cpp permet l’inférence LLM et VLM en C/C++, avec une mise en place minimale, en local et dans le cloud. C’est une implémentation C/C++ sans aucune dépendance.
À prendre si
- Vous voulez une inférence LLM ou VLM en local ou dans le cloud, avec une mise en place minimale.
- Vous voulez une implémentation C/C++ sans aucune dépendance, construite sur la bibliothèque ggml.
- Vous voulez la quantification entière en 1,5 bit, 2 bits, 3 bits, 4 bits, 5 bits, 6 bits ou 8 bits, ou un backend pour Apple silicon, x86, RISC-V ou GPU.
À laisser si
- Vous ne voulez pas installer llama.cpp ni lancer un modèle vous-même.
- Vous ne visez pas l’inférence LLM ou VLM.
En un coup d’œil
| Point | Fait |
|---|---|
| Produit | Inférence LLM et VLM en C/C++ |
| But | Mise en place minimale et performances de pointe, sur un large éventail de matériel, en local et dans le cloud |
| Code | Implémentation C/C++ sans aucune dépendance |
| Licence | MIT, badge License: MIT |
| Base | Bibliothèque ggml |
| Quantification | Entiers 1,5 bit, 2 bits, 3 bits, 4 bits, 5 bits, 6 bits et 8 bits, pour une inférence plus rapide et moins de mémoire |
| Apple silicon | Au premier plan, via ARM NEON, Accelerate et Metal |
| x86 | AVX, AVX2, AVX512 et AMX |
| RISC-V | RVV, ZVFH, ZFH, ZICBOP et ZIHINTPAUSE |
| GPU | Noyaux CUDA pour GPU NVIDIA. GPU AMD via HIP. GPU Moore Threads via MUSA. Backends Vulkan et SYCL |
| Hybride | Inférence CPU+GPU pour accélérer en partie les modèles plus grands que la VRAM totale |
| Installation | Script curl, script PowerShell, page llama.app, Docker, binaires précompilés des releases, ou compilation après clonage du dépôt |
| Une fois installé | llama cli pour télécharger et lancer un modèle depuis Hugging Face. llama serve pour un OpenAI-compatible API server |
| Écrans montrés | VLM session avec llama cli. Built-in web UI avec llama serve |
| Outils listés | cli, completion, server, GBNF grammars |
Matériel et backends
Le but principal de llama.cpp est de permettre l’inférence LLM et VLM avec une mise en place minimale et des performances de pointe, sur un large éventail de matériel, en local et dans le cloud. Le projet est construit sur la bibliothèque ggml.
Apple silicon est traité au premier plan, via ARM NEON, Accelerate et Metal. Les architectures x86 ont AVX, AVX2, AVX512 et AMX. Les architectures RISC-V ont RVV, ZVFH, ZFH, ZICBOP et ZIHINTPAUSE.
Des noyaux CUDA sur mesure font tourner des LLM sur GPU NVIDIA, avec les GPU AMD via HIP et les GPU Moore Threads via MUSA. Vulkan et SYCL sont des backends. L’inférence hybride CPU+GPU accélère en partie les modèles plus grands que la VRAM totale. La quantification entière couvre 1,5 bit, 2 bits, 3 bits, 4 bits, 5 bits, 6 bits et 8 bits, pour une inférence plus rapide et une mémoire réduite.
Backends et appareils ciblés :
- BLAS : All
- BLIS : All
- CANN : Ascend NPU
- CUDA : Nvidia GPU
- HIP : AMD GPU
- Hexagon : Snapdragon
- IBM zDNN : IBM Z & LinuxONE
- MUSA : Moore Threads GPU
- Metal : Apple Silicon
- OpenCL : Adreno GPU
- OpenVINO [In Progress] : Intel CPUs, GPUs, and NPUs
- RPC : All
- SYCL : Intel GPU
- VirtGPU : VirtGPU APIR
- Vulkan : GPU
- WebGPU : All
- ZenDNN : AMD CPU
Les outils listés sont cli, completion, server et GBNF grammars.
Démarrage
Quelques options installent llama.cpp sur la machine. Deux commandes suivent une fois le programme installé. Une VLM session va avec llama cli, et une Built-in web UI avec llama serve.
- Installer llama.cpp. Les options sont
curl -LsSf https://llama.app/install.sh | sh,irm https://llama.app/install.ps1 | iex, la page llama.app, Docker, les binaires précompilés de la page des releases, ou une compilation après clonage du dépôt. - Une fois installé, télécharger et lancer un modèle directement depuis Hugging Face avec
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF. - Lancer l’OpenAI-compatible API server avec
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF.
Questions
Que permet llama.cpp ?
L’inférence LLM et VLM en C/C++, avec une mise en place minimale et des performances de pointe, sur un large éventail de matériel, en local et dans le cloud. L’implémentation est en C/C++ sans aucune dépendance.
Comment installer llama.cpp ?
Les options sont curl -LsSf https://llama.app/install.sh | sh, irm https://llama.app/install.ps1 | iex, la page llama.app, Docker, les binaires précompilés des releases, ou une compilation après clonage du dépôt.
Quelle commande lance un modèle depuis Hugging Face ?
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF télécharge et lance un modèle directement depuis Hugging Face.
Quelle commande lance le serveur ?
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF lance un OpenAI-compatible API server. Une Built-in web UI va avec llama serve.
Quelle licence est affichée ?
Le badge indique License: MIT.
Quels niveaux de quantification entière ?
1,5 bit, 2 bits, 3 bits, 4 bits, 5 bits, 6 bits et 8 bits, en entiers, pour une inférence plus rapide et une mémoire réduite.
Sources
Ces sources ont été lues le 4 octobre 2026.
