Horovod è un framework di addestramento distribuito per l'apprendimento profondo per TensorFlow, Keras, PyTorch e Apache MXNet. Horovod è stato originariamente sviluppato da Uber per rendere l'apprendimento profondo distribuito veloce e facile da usare, riducendo il tempo di addestramento del modello da giorni e settimane a ore e minuti. Con Horovod, uno script di addestramento esistente può essere scalato per funzionare su centinaia di GPU con solo poche righe di codice Python. Horovod può essere installato in sede o eseguito immediatamente su piattaforme cloud, inclusi AWS, Azure e Databricks. Horovod può inoltre essere eseguito sopra Apache Spark, rendendo possibile unificare l'elaborazione dei dati e l'addestramento del modello in un'unica pipeline. Una volta configurato Horovod, la stessa infrastruttura può essere utilizzata per addestrare modelli con qualsiasi framework, rendendo facile passare tra TensorFlow, PyTorch, MXNet e futuri framework man mano che gli stack tecnologici di machine learning continuano a evolversi.