Plateforme d'Inference LLM sur GPU Bare-Metal
Plateforme d'inference LLM self-hosted sur Kubernetes bare-metal avec GPU NVIDIA : ordonnancement des devices via NVIDIA device plugin, partitionnement MIG, continuous batching, quantification GGUF/AWQ, cache KV dimensionnable, autoscaling KEDA sur la profondeur de file et observabilite Prometheus des tokens par seconde et de la latence.