Was gefällt Ihnen nicht? Apify?
Unsere Erfahrung mit Apifys Twitter-Scraper begann positiv, wurde jedoch im Laufe der Zeit aufgrund mehrerer Probleme, die sich direkt auf Zuverlässigkeit und Budgetkontrolle auswirkten, äußerst enttäuschend und kostspielig.
1. Parameter funktionieren nicht wie erwartet
Viele der vom Actor bereitgestellten Parameter verhielten sich nicht konsistent. Selbst wenn wir Grenzen wie die maximale Anzahl der abzurufenden Elemente konfigurierten, hielt sich der Scraper nicht immer daran. Dies machte es sehr schwierig, sich in einem Produktions-Workflow, in dem vorhersehbares Verhalten entscheidend ist, auf den Actor zu verlassen.
2. Unnötiges Abrufen, das unser Budget verschwendete
In mehreren Fällen rief der Scraper Tausende von Tweets ab, obwohl strenge Grenzen konfiguriert waren. Diese Durchläufe verbrauchten eine große Menge an Ressourcen und erhöhten unerwartet unsere Kosten. Was dies noch schlimmer machte, war, dass diese Abrufe nicht absichtlich von uns ausgelöst wurden, die Plattform jedoch trotzdem Gebühren dafür erhob. Als wir das Problem ansprachen, gab es keine sinnvolle Lösung oder Rückerstattung, obwohl das Verhalten eindeutig über die konfigurierten Grenzen hinausging.
3. Abrufen veralteter Tweets anstelle von aktuellen
Ein weiteres wiederkehrendes Problem war, dass der Scraper häufig alte Tweets anstelle der neuesten zurückgab, selbst wenn Optionen verwendet wurden, die darauf abzielen, die aktuellsten Ergebnisse abzurufen. Für zeitkritische Workflows macht dies die Daten unzuverlässig. Wir sahen oft Situationen, in denen Tweets vom Vortag erschienen, während Tweets, die in der letzten Stunde gepostet wurden, vollständig fehlten.
4. Unsicheres und inkonsistentes Scraper-Verhalten
Das allgemeine Verhalten des Twitter-Scrapers fühlte sich unvorhersehbar an. Identische Konfigurationen führten manchmal zu völlig unterschiedlichen Ergebnissen zwischen den Durchläufen. Einige Durchläufe verpassten relevante Tweets, während andere irrelevante oder veraltete Daten zurückgaben. Diese Inkonsistenz macht es schwierig, dem Tool für automatisierte Systeme zu vertrauen.
Obwohl Apify eine fähige Plattform und eine entwicklerfreundliche Oberfläche bietet, führten der Mangel an strikter Kontrolle über Grenzen, unzuverlässige Scraping-Ergebnisse und unzureichende Kostenschutzmaßnahmen zu ernsthaften betrieblichen Problemen für uns. Für jedes System, das auf vorhersehbare Datenerfassung und kontrollierte Ausgaben angewiesen ist, können diese Probleme sehr schnell sehr kostspielig werden.
Bis stärkere Schutzmaßnahmen, klareres Parameterverhalten und bessere Kostenschutzmechanismen implementiert sind, ist es schwierig, sich auf den Twitter-Scraper für produktionskritische Workflows zu verlassen. Bewertung gesammelt von und auf G2.com gehostet.
