Nexa SDK ist ein On-Device-Inferenz-Framework, das jedes Modell auf jedem Gerät und über jedes Backend ausführt. Es läuft auf CPUs, GPUs, NPUs mit Backend-Unterstützung für CUDA, Metal, Vulkan und Qualcomm NPU. Es verarbeitet mehrere Eingabemodalitäten, einschließlich Text 📝, Bild 🖼️ und Audio 🎧. Das SDK umfasst einen OpenAI-kompatiblen API-Server mit Unterstützung für JSON-Schema-basierte Funktionsaufrufe und Streaming. Es unterstützt Modellformate wie GGUF, MLX, Nexa AIs eigenes .nexa-Format und ermöglicht effiziente quantisierte Inferenz über verschiedene Plattformen hinweg.