Google Cloud Parallelstore è un sistema di file parallelo ad alte prestazioni completamente gestito, progettato per soddisfare le esigenze delle applicazioni ad alta intensità di dati, tra cui intelligenza artificiale, apprendimento automatico e calcolo ad alte prestazioni. Basato sull'architettura Distributed Asynchronous Object Storage di Intel, Parallelstore offre un throughput di lettura eccezionale—fino a sei volte superiore rispetto alle offerte competitive di Lustre scratch—rendendolo ideale per carichi di lavoro che richiedono una latenza ultra-bassa e un alto numero di operazioni di input/output al secondo.
Caratteristiche e Funzionalità Chiave:
- Prestazioni Veloci e Scalabili: Parallelstore offre alta larghezza di banda, alto IOPS e latenza ultra-bassa utilizzando media indirizzabili a byte per metadati e piccole operazioni di I/O, e NVMe localmente collegato con ridondanza gestita dal software per I/O di massa.
- Configurabile per Adattarsi ai Casi d'Uso: Gli utenti possono adattare Parallelstore alle loro esigenze specifiche, costruendo sistemi della giusta scala per casi d'uso estremi di AI generativa e simulazione HPC.
- Architettura a Prova di Futuro: Il servizio supporta la scala HPC, la convergenza AI/ML e l'integrazione con Kubernetes, permettendo alle aziende di crescere e scalare con un minimo di interruzioni. La sua gestione distribuita dei metadati e l'architettura del key-value store si allineano bene con i modelli di carico di lavoro AI emergenti.
- Flessibilità Open Source: Essendo costruito su Intel DAOS, una piattaforma open-source, Parallelstore offre la flessibilità di distribuire e, se necessario, migrare carichi di lavoro critici attraverso o fuori dalle piattaforme cloud pubbliche senza sovraccarico operativo o necessità di competenze specializzate.
Valore Primario e Problema Risolto:
Parallelstore affronta la necessità critica di soluzioni di storage ad alte prestazioni e bassa latenza negli ambienti AI, ML e HPC. Fornendo un sistema di file parallelo gestito con throughput e scalabilità eccezionali, assicura che le risorse di calcolo, come GPU e TPU, siano pienamente utilizzate senza essere limitate dalle limitazioni di storage. Questa ottimizzazione porta a tempi di addestramento più rapidi, simulazioni più efficienti e un miglioramento complessivo delle prestazioni per le applicazioni ad alta intensità di dati.