Recomendaciones a otros que estén considerando Apache Flink:
Úselo sabiamente, ajuste los parámetros de memoria y el paralelismo sabiamente. De lo contrario, terminará con presión de retorno o subutilizando los recursos. Se requiere mucho ajuste con respecto al número de hilos y la asignación de memoria. No sobrescriba los procesadores, lo que llevará a mucho paralelismo y simplemente transferencia de datos entre los nodos y puede llevar a una desaceleración. Necesita arquitectar con cautela. Reseña recopilada por y alojada en G2.com.
¿Qué problemas resuelve Apache Flink ¿Y cómo te beneficia eso?
Usamos Flink tanto para transmisión en línea como para procesamiento por lotes fuera de línea, principalmente para enriquecer los datos entrantes, integrados con Elastic Search para almacenarlos. También hacemos agregación usando ventanas deslizantes. Usamos vistas de Flink para el procesamiento por lotes, aprendemos algunos umbrales, como umbrales de CPU, memoria, etc. Desplegado con cientos de nodos, altamente escalable, desplegado en AWS usando contenedores de Kubernetes. También usamos la interfaz de usuario de Flink para depurar problemas de alto nivel. No hacemos SQL en transmisión. Reseña recopilada por y alojada en G2.com.