Recomendações a outras pessoas considerando Apache Flink:
Use-o com sabedoria, ajuste os parâmetros de memória e o paralelismo com cuidado. Caso contrário, você acaba com pressão de retorno ou subutilizando os recursos. É necessário muito ajuste em relação ao número de threads e alocação de memória. Não sobrescreva os processadores, o que levará a muito paralelismo e simplesmente transferência de dados entre os nós e pode levar à desaceleração. Análise coletada por e hospedada no G2.com.
Que problemas é Apache Flink E como isso está te beneficiando?
Usamos Flink tanto para streaming online quanto para processamento em lote offline, principalmente para enriquecer os dados recebidos, integrados com o Elasticsearch para armazená-los. Também fazemos agregação usando janela deslizante. Usamos visualizações do Flink. Para processamento em lote, usamos para aprender alguns limites, como limites de CPU, memória, etc. Implantado com centenas de nós, altamente escalável. Implantado na AWS usando contêiner Kubernetes. Também usamos a interface do Flink para depurar problemas de alto nível. Não fazemos SQL em streaming. Análise coletada por e hospedada no G2.com.