Google Cloud Parallelstore ist ein vollständig verwaltetes, leistungsstarkes paralleles Dateisystem, das entwickelt wurde, um den Anforderungen datenintensiver Anwendungen gerecht zu werden, einschließlich künstlicher Intelligenz, maschinellem Lernen und Hochleistungsrechnen. Basierend auf Intels Distributed Asynchronous Object Storage-Architektur bietet Parallelstore außergewöhnlichen Lese-Durchsatz – bis zu sechsmal höher als konkurrierende Lustre-Scratch-Angebote – und ist damit ideal für Workloads, die extrem niedrige Latenzzeiten und hohe Ein-/Ausgabeoperationen pro Sekunde erfordern.
Hauptmerkmale und Funktionalität:
- Schnelle, skalierbare Leistung: Parallelstore liefert hohe Bandbreite, hohe IOPS und extrem niedrige Latenzzeiten, indem es byte-adressierbare Medien für Metadaten und kleine I/O-Operationen sowie lokal angeschlossene NVMe mit softwaregesteuerter Redundanz für Massen-I/O nutzt.
- Anpassbar an Anwendungsfälle: Benutzer können Parallelstore an ihre spezifischen Bedürfnisse anpassen und Systeme im richtigen Maßstab für extreme generative KI- und HPC-Simulationsanwendungen aufbauen.
- Zukunftssichere Architektur: Der Dienst unterstützt HPC-Skalierung, KI/ML-Konvergenz und Kubernetes-Integration, sodass Unternehmen mit minimalen Störungen wachsen und skalieren können. Sein verteiltes Metadatenmanagement und die Key-Value-Store-Architektur passen gut zu aufkommenden KI-Workload-Mustern.
- Open-Source-Flexibilität: Da es auf Intel DAOS, einer Open-Source-Plattform, basiert, bietet Parallelstore die Flexibilität, kritische Workloads über öffentliche Cloud-Plattformen hinweg zu implementieren und bei Bedarf zu migrieren, ohne betrieblichen Aufwand oder die Notwendigkeit spezieller Fähigkeiten.
Primärer Wert und gelöstes Problem:
Parallelstore adressiert das kritische Bedürfnis nach Hochleistungs- und Niedriglatenz-Speicherlösungen in KI-, ML- und HPC-Umgebungen. Durch die Bereitstellung eines verwalteten parallelen Dateisystems mit außergewöhnlichem Durchsatz und Skalierbarkeit stellt es sicher, dass Rechenressourcen wie GPUs und TPUs voll genutzt werden, ohne durch Speicherbeschränkungen ausgebremst zu werden. Diese Optimierung führt zu schnelleren Trainingszeiten, effizienteren Simulationen und insgesamt verbesserter Leistung für datenintensive Anwendungen.