Google Cloud Parallelstore es un sistema de archivos paralelo de alto rendimiento y totalmente gestionado, diseñado para satisfacer las demandas de aplicaciones intensivas en datos, incluyendo inteligencia artificial, aprendizaje automático y computación de alto rendimiento. Construido sobre la arquitectura de Almacenamiento de Objetos Distribuidos Asíncronos de Intel, Parallelstore ofrece un rendimiento de lectura excepcional, hasta seis veces mayor que las ofertas competitivas de Lustre scratch, lo que lo hace ideal para cargas de trabajo que requieren una latencia ultra baja y altas operaciones de entrada/salida por segundo.
Características y Funcionalidad Clave:
- Rendimiento Rápido y Escalable: Parallelstore ofrece un alto ancho de banda, altas IOPS y latencia ultra baja al utilizar medios direccionables por byte para metadatos y operaciones de E/S pequeñas, y NVMe localmente adjunto con redundancia gestionada por software para E/S masiva.
- Configurable para Ajustarse a los Casos de Uso: Los usuarios pueden adaptar Parallelstore a sus necesidades específicas, construyendo sistemas de la escala adecuada para casos de uso extremos de IA generativa y simulación HPC.
- Arquitectura a Prueba de Futuro: El servicio soporta la escala HPC, la convergencia de IA/ML y la integración con Kubernetes, permitiendo a las empresas crecer y escalar con mínima disrupción. Su gestión de metadatos distribuida y arquitectura de almacenamiento clave-valor se alinean bien con los patrones emergentes de carga de trabajo de IA.
- Flexibilidad de Código Abierto: Al estar construido sobre Intel DAOS, una plataforma de código abierto, Parallelstore proporciona la flexibilidad para desplegar y, si es necesario, migrar cargas de trabajo críticas a través de o fuera de plataformas de nube pública sin sobrecarga operativa o la necesidad de habilidades especializadas.
Valor Principal y Problema Resuelto:
Parallelstore aborda la necesidad crítica de soluciones de almacenamiento de alto rendimiento y baja latencia en entornos de IA, ML y HPC. Al proporcionar un sistema de archivos paralelo gestionado con un rendimiento y escalabilidad excepcionales, asegura que los recursos de cómputo, como GPUs y TPUs, se utilicen completamente sin ser limitados por las limitaciones de almacenamiento. Esta optimización conduce a tiempos de entrenamiento más rápidos, simulaciones más eficientes y un rendimiento general mejorado para aplicaciones intensivas en datos.