Zipher

Der spark-bewusste Autoscaler ist deutlich weniger verschwenderisch als der native Autoscaler, da er den Kontext unserer Jobausführungen berücksichtigt und unnötiges Skalieren vermeidet.

Zipher versprach mehr als 35% Einsparungen bei den Kosten für Databricks und AWS. Wir waren skeptisch, aber nach einem POC lieferten sie über 50% Einsparungen, und es gab keine negativen Auswirkungen auf die Leistung.

Zipher hat kontinuierlich messbare Kosteneffizienzen bei Databricks geliefert und gleichzeitig die Stabilität der Arbeitslast verbessert. Es optimierte das automatische Skalieren von Clustern, indem es unnötige Knotenwechsel reduzierte und ein gleichmäßiges Gleichgewicht zwischen On-Demand- und Spot-Kapazität aufrechterhielt. Wir sahen eine verbesserte DBU-Auslastung in interaktiven und Job-Clustern, zusammen mit vorhersehbareren Ausgaben und schnelleren Job-Ausführungszeiten, was zu einer Reduzierung unserer gesamten Rechenkosten führt.