O que você não gosta Apify?
Nossa experiência com o scraper do Twitter da Apify começou de forma positiva, mas com o tempo tornou-se extremamente decepcionante e cara devido a múltiplos problemas que afetaram diretamente a confiabilidade e o controle do orçamento.
1. Parâmetros não funcionando como esperado
Muitos dos parâmetros fornecidos pelo ator não se comportaram de forma consistente. Mesmo quando configuramos limites como o número máximo de itens a serem buscados, o scraper nem sempre os respeitava. Isso tornou muito difícil confiar no ator em um fluxo de trabalho de produção onde o comportamento previsível é crítico.
2. Busca desnecessária que desperdiçou nosso orçamento
Em várias ocasiões, o scraper buscou milhares de tweets, mesmo com limites estritos configurados. Essas execuções consumiram uma grande quantidade de recursos e aumentaram inesperadamente nossos custos. O que piorou foi que essas buscas não foram intencionalmente acionadas por nós, mas a plataforma ainda cobrou por elas. Quando levantamos a questão, não houve uma resolução significativa ou reembolso, mesmo que o comportamento claramente ultrapassasse os limites configurados.
3. Busca de tweets desatualizados em vez dos mais recentes
Outro problema recorrente foi que o scraper frequentemente retornava tweets antigos em vez dos mais recentes, mesmo ao usar opções destinadas a recuperar os resultados mais recentes. Para fluxos de trabalho sensíveis ao tempo, isso torna os dados não confiáveis. Muitas vezes vimos situações em que tweets do dia anterior apareciam enquanto tweets postados na última hora estavam completamente ausentes.
4. Comportamento incerto e inconsistente do scraper
O comportamento geral do scraper do Twitter parecia imprevisível. Configurações idênticas às vezes produziam resultados completamente diferentes entre as execuções. Algumas execuções perdiam tweets relevantes, enquanto outras retornavam dados irrelevantes ou desatualizados. Esse nível de inconsistência torna difícil confiar na ferramenta para sistemas automatizados.
Embora a Apify forneça uma plataforma capaz e uma interface amigável para desenvolvedores, a falta de controle rigoroso sobre os limites, resultados de scraping não confiáveis e salvaguardas de custo inadequadas criaram sérios problemas operacionais para nós. Para qualquer sistema que dependa de coleta de dados previsível e controle de gastos, esses problemas podem se tornar muito caros muito rapidamente.
Até que salvaguardas mais fortes, comportamento de parâmetros mais claro e melhores mecanismos de proteção de custos sejam implementados, é difícil recomendar confiar no scraper do Twitter para fluxos de trabalho críticos de produção. Análise coletada por e hospedada no G2.com.
