Nexa SDK è un framework di inferenza su dispositivo che esegue qualsiasi modello su qualsiasi dispositivo, su qualsiasi backend. Funziona su CPU, GPU, NPU con supporto backend per CUDA, Metal, Vulkan e Qualcomm NPU. Gestisce molteplici modalità di input, inclusi testo 📝, immagine 🖼️ e audio 🎧. L'SDK include un server API compatibile con OpenAI con supporto per chiamate di funzione basate su schema JSON e streaming. Supporta formati di modelli come GGUF, MLX, il formato .nexa di Nexa AI, consentendo un'inferenza quantizzata efficiente su piattaforme diverse.