Que n’aimez-vous pas à propos de Apify?
Notre expérience avec le scraper Twitter d'Apify a commencé positivement, mais avec le temps, elle est devenue extrêmement décevante et coûteuse en raison de multiples problèmes qui ont directement affecté la fiabilité et le contrôle du budget.
1. Paramètres ne fonctionnant pas comme prévu
Beaucoup des paramètres fournis par l'acteur ne se comportaient pas de manière cohérente. Même lorsque nous configurions des limites telles que le nombre maximum d'éléments à récupérer, le scraper ne les respectait pas toujours. Cela rendait très difficile de se fier à l'acteur dans un flux de travail de production où un comportement prévisible est crucial.
2. Récupération inutile qui a gaspillé notre budget
À plusieurs reprises, le scraper a récupéré des milliers de tweets même si des limites strictes étaient configurées. Ces exécutions ont consommé une grande quantité de ressources et ont augmenté nos coûts de manière inattendue. Ce qui a aggravé la situation, c'est que ces récupérations n'étaient pas intentionnellement déclenchées par nous, et pourtant la plateforme nous a quand même facturés. Lorsque nous avons soulevé le problème, il n'y a eu aucune résolution significative ou remboursement, même si le comportement dépassait clairement les limites configurées.
3. Récupération de tweets obsolètes au lieu des récents
Un autre problème récurrent était que le scraper renvoyait fréquemment de vieux tweets au lieu des plus récents, même en utilisant des options destinées à récupérer les résultats les plus récents. Pour les flux de travail sensibles au temps, cela rend les données peu fiables. Nous avons souvent vu des situations où des tweets de la veille apparaissaient alors que des tweets publiés dans la dernière heure manquaient complètement.
4. Comportement incertain et incohérent du scraper
Le comportement global du scraper Twitter semblait imprévisible. Des configurations identiques produisaient parfois des résultats complètement différents entre les exécutions. Certaines exécutions manquaient des tweets pertinents, tandis que d'autres renvoyaient des données non pertinentes ou obsolètes. Ce niveau d'incohérence rend difficile la confiance dans l'outil pour les systèmes automatisés.
Bien qu'Apify fournisse une plateforme capable et une interface conviviale pour les développeurs, le manque de contrôle strict sur les limites, les résultats de scraping peu fiables et les faibles protections des coûts ont créé de sérieux problèmes opérationnels pour nous. Pour tout système qui dépend de la collecte de données prévisible et de la maîtrise des dépenses, ces problèmes peuvent devenir très coûteux très rapidement.
Jusqu'à ce que des protections plus fortes, un comportement de paramètre plus clair et de meilleurs mécanismes de protection des coûts soient mis en œuvre, il est difficile de recommander de se fier au scraper Twitter pour des flux de travail critiques en production. Avis collecté par et hébergé sur G2.com.
