Plateforme IA Self-Hosted : Architecture d'un Socle LLM sur Bare-Metal
Le choix entre un LLM heberge et une API managee determine l’architecture, le cout et le niveau de controle que vous avez sur vos donnees. Apres avoir operes plusieurs plateformes de ce type, voici comment j’architecture un socle IA self-hosted sur Kubernetes bare-metal, et pourquoi chaque couche existe.
Pourquoi self-hosted ?
Avant de parler d’architecture, il faut justifier le choix. Les raisons qui reviennent le plus souvent :
- Maitrise des donnees — Aucune requete ne sort du perimetre, la conformite RGPD se construit par design
- Cout predictible — Un GPU amorti sur trois ans plutot qu’un prix par token
- Choix du modele — Charger un modele specifique, quantifie ou non, sans attendre une disponibilite chez un tiers
- Latence — Pas de round-trip reseau vers un fournisseur distant a chaque requete
- Reproductibilite — Versions figees, resultats verifiables, pas de derive silencieuse du fournisseur
Le revers de la medaille est tout aussi reel : l’inference, la securite et la disponibilite deviennent votre problematique. On ne self-heberge pas un LLM comme on lance un conteneur.
Architecture de reference
┌──────────────────────────────┐
│ Portail / OpenWebUI │
│ (SSO, quotas, sessions) │
└──────────────┬───────────────┘
│
┌──────────────▼───────────────┐
│ Gateway LLM │
│ routage, cache, garde-fous │
└──────────────┬───────────────┘
│
┌──────────────────────────┼──────────────────────────┐
│ │ │
┌──────▼───────┐ ┌───────▼────────┐ ┌──────▼───────┐
│ Inference │ │ Agents + RAG │ │ Evaluations │
│ GPU (vLLM) │ │ Qdrant+BM25 │ │ MLflow │
└──────┬───────┘ └───────┬────────┘ └──────┬───────┘
│ │ │
└──────────────────────────┼──────────────────────────┘
│
┌──────────────▼───────────────┐
│ Cluster K8s bare-metal │
│ Node pool GPU (MIG) │
└──────────────┬───────────────┘
│
┌──────────────▼───────────────┐
│ Observabilite + Policy │
│ Prometheus, OPA, Vault │
└──────────────────────────────┘
Chaque couche a une responsabilite unique. C’est ce qui permet de remplacer vLLM par un autre moteur d’inference sans toucher au gateway, ou de brancher un fournisseur externe sans toucher aux agents.
Couche 1 — Inference GPU
C’est la couche qui consomme la ressource la plus chere. Trois decisions structurantes.
Partage des GPU
Le NVIDIA device plugin expose les GPU physiques aux pods. Sans lui, un pod ne voit pas les GPU et l’ordonnancement devient impraticable.
MIG (Multi-Instance GPU) decoupe un GPU physique en instances hardware isolees, chacune avec sa propre memoire et ses propres controleurs. Un seul H100 80 Go peut ainsi servir plusieurs modeles sans interference :
┌─────────────── H100 80 Go ───────────────┐
│ MIG 1 │ MIG 2 │ MIG 3 │ ... │
│ 24 Go │ 24 Go │ 24 Go │ │
└───────────────────────────────────────────┘
Modele 7B Modele 13B API de batch
L’isolation memoire compte autant que l’isolation calcul : deux modeles qui partagent le cache KV sans partitionnement seperturbent mutuellement sous charge.
Choix du moteur d’inference
- vLLM pour les modeles denses : PagedAttention supprime la fragmentation du cache KV, le continuous batching regroupe les requetes en un batch virtuel
- llama.cpp pour les modeles GGUF quantifies :CPU ou GPU, indispensable pour faire tourner un modele de 30 Go sur une machine sans GPU
Quantification
| Format | Taille des poids | Qualite | Cas d’usage |
|---|---|---|---|
| FP16 | 100 % | Reference | Evaluation, ligne de base |
| AWQ (4 bits) | ~25 % | Proche | Production sur GPU |
| GGUF Q4 | ~25 % | Proche | CPU, edge, fallback |
La quantification n’est pas gratuite : elle degrade la qualite sur les taches complexes. Elle se mesure, on ne l’applique pas a l’aveugle. On garde le FP16 comme reference pour comparer.
Autoscaling
L’indicateur a surveiller n’est pas la charge CPU du pod, c’est la profondeur de file. KEDA scalle sur le nombre de requetes en attente, ce qui declenche l’ajout d’un replica vLLM avant que la latence ne degrade.
Couche 2 — Gateway et gouvernance
Le gateway est le point de controle unique. C’est lui qui rend la plateforme governable.
- Routage multi-modeles — Une requete “simple” part sur un modele rapide et的经济e, une requete complexe sur un modele plus puissant
- Quotas par equipe — Chaque equipe a son enveloppe, le reste est refuse au gateway
- Fallback multi-fournisseurs — Si le modele local sature ou tombe, la requete bascule vers un fournisseur externe
- Cache semantique — Les requetes proches d’une requete deja servie sont rejouees depuis le cache
- Garde-fous de contenu — Filtrage en sortie avant que la reponse n’atteigne l’utilisateur
- Suivi des couts — Tokens, requetes, cout par equipe, par modele, par utilisateur
Ce qui separe un gateway d’un simple proxy, c’est la politique. Les quotas, les garde-fous et l’audit sont appliques de facon centralisee, pas repartis dans chaque application.
Couche 3 — Agents et RAG
Les agents interrogent la base de connaissances. La qualite de leur reponse depend directement de la qualite du rappel.
RAG hybride
Un index vectoriel seul echoue sur les requetes riches en acronymes, identifiants et references precises. Un index lexical seul echoue sur les reformulations. La combinaison est le standard :
- Qdrant pour la recherche vectorielle (similarite semantique)
- BM25 pour la recherche lexicale (correspondance exacte de termes)
- Reranker pour reordonner les candidats fusionnes
Requete
│
├──▶ Qdrant ──┐
│ ├──▶ Fusion ──▶ Reranker ──▶ Contexte
└──▶ BM25 ──┘
Outils MCP en lecture seule
Les agents doivent pouvoir consulter l’infrastructure. Mais un agent qui peut ecrire est un agent qui peut casser. Le Model Context Protocol expose Kubernetes, Prometheus, Loki et Git en lecture seule : l’agent diagnostique, l’humain decide.
Couche 4 — MLOps et evaluation continue
Un modele n’est pas un artefact immuable. Sans evaluation, on livre une regression en production sans s’en apercevoir.
- Versionnage des jeux de donnees — Chaque entrainement est reproductible
- Entrainement distribue sur GPU — L’equivalent du data parallelism pour le deep learning
- Registre de modeles — Quel modele, quel jeu de donnees, quelle version
- Evaluation continue — Un jeu de tests fige rejoue a chaque changement
- Detection de derive — Comparaison entre la distribution des requetes reelles et celle d’entrainement
- Promotion canary via GitOps — Le modele candidat est mis en service sur un faible pourcentage de trafic, mesure, puis promu ou rejete
La promotion canary est le point de controle le plus utile : elle transforme “est-ce que ce modele est meilleur ?” en “est-ce que ce modele est meilleur sur notre trafic ?”.
Couche 5 — Securite des systemes IA
La surface d’attaque d’un systeme IA est plus large qu’un systeme classique. Trois risques dominent.
Prompt injection
Un contenu externe (ticket, mail, document RAG) peut contenir des instructions qui detourment l’agent. Defenses combinees :
- Separer rigoureusement les donnees des instructions dans le prompt
- Filtrer les entrees avant retrieval
- Limiter les outils accessibles et leurs parametres
- Ne jamais donner a l’agent le droit d’ecrire sans validation humaine
Outils et sandboxing
Un outil execute dans le pod de l’agent herite de ses permissions. Le sandboxing limite le systeme de fichiers, le reseau et les capacites pour qu’une execution de outil ne devienne pas une compromission.
Chaine de confiance des modeles
Les poids d’un modele sont un artefact logiciel. Ils meritent le meme traitement qu’un binaire :
- SBOM des poids et de leurs dependances
- Signature (Sigstore / Cosign) verifiee a l’inference
- Allowlist des modeles autorises au niveau du cluster
Observabilite et SLO
Une plateforme IA sans metriques est une boite noire. Les indicateurs a instrumenter :
| Metrique | Ce qu’elle dit |
|---|---|
| Tokens par seconde | Debit de l’inference |
| TTFT (time to first token) | Latence percu par l’utilisateur |
| ITL (inter-token latency) | Fluidite de la reponse |
| Profondeur de file | Pression sur l’inference |
| Taux de hit du cache | Efficacite du cache semantique |
| Utilisation GPU | Efficacite de l’allocation |
| Occupation du cache KV | Pression memoire, risque d’eviction |
Les SLO se raisonnent comme ailleurs : une cible sur le TTFT au percentile 95, une cible de disponibilite, et des alertes qui se declenchent sur l’ecart au SLO plutot que sur une valeur brute.
Lecons apprises
- Commencer par le gateway — Il impose la structure de toutes les couches au-dessus
- Isoler les GPU, pas seulement les pods — MIG evite les interferences de cache KV
- Mesurer avant d’optimizer — Sans metriques, le tuning de quantisation est du hasard
- Evaluer en continu — Une regression de qualite ne se voit pas dans les logs
- Le RAG hybride bat le RAG vectoriel — Le lexical rattrape le semantique sur les references precises
- Les agents lisent, les humains ecrivent — La separation des pouvoirs est la meilleure defense
- Versionner les poids — Un modele non signe est une dependance non verifiee
Conclusion
Une plateforme IA self-hosted n’est pas un modele avec un GPU autour. C’est cinq couches — inference, gouvernance, agents, evaluation, securite — et la valeur vient de leur separation nette. Une couche qui fait le travail de deux autres est une couche qui ne pourra pas evoluer.