Amplitude Feature Experimentation Bewertungen & Produktdetails

Der beste Teil ist, dass wir, wenn wir alle unsere Analysedaten in Amplitude einfließen lassen, von dort aus Benutzer in Experimente segmentieren und verschiedene Kohorten basierend auf vorhandenen Daten erstellen können und auch Analysen und Aufschlüsselungen durchführen können, die eng miteinander integriert sind.

Wenn wir einfache Experimente durchführen möchten, mehrere verschiedene Varianten erstellen und auch keinen technischen Aufwand benötigen, um Experimentdaten zu starten, zu stoppen und zu analysieren, ist das, was es wirklich gut macht.

Wir können spezifische Bedingungen erstellen, die nur dann, wenn sie erfüllt sind, eine Zuordnung anzeigen, und auch eine benutzerdefinierte Exposition haben, wenn die Dinge komplizierter sind.

Wir verwenden es für eine sehr breite Palette komplexer Experimente, bei denen wir festgestellt haben, dass benutzerdefinierte Expositionen sehr hilfreich sind, ebenso wie der Segmentierungsteil des Experiments.

Es ist einfach zu bedienen, mittelmäßig einfach zu implementieren (die technische Dokumentation muss verbessert werden), der Kundensupport ist gut. Bewertung gesammelt von und auf G2.com gehostet.

Die Nachteile des Amplitude-Experiments bestehen darin, dass wir aufgrund der anonymen ID-Auflösung, die zu Variantenwechseln führt, ungenaue Analysedaten erhalten. Dies führt dazu, dass die Analysedaten in einigen sehr spezifischen Szenarien, in denen wir Benutzer testen, die anonym in die App eingetreten sind, sehr ungenau sind. In den meisten anderen Fällen funktioniert es jedoch einwandfrei. Bewertung gesammelt von und auf G2.com gehostet.

A/B-Tests sind sehr einfach einzurichten und erfordern keine manuelle Verwaltung. Wir verwenden sie derzeit für jede neue Funktion, die wir veröffentlichen. Bewertung gesammelt von und auf G2.com gehostet.

Bis heute habe ich damit keine Probleme gehabt. Bewertung gesammelt von und auf G2.com gehostet.

- Die Integration mit Analytics. Es ist äußerst nützlich, um Experimentergebnisse mit echten Verhaltensdaten zu validieren, nicht nur mit oberflächlichen Kennzahlen.

- Die Entwicklererfahrung ist großartig. Die SDKs sind flexibel, und das Einrichten von Feature-Flags oder Kontrollgruppen ist einfach. Bewertung gesammelt von und auf G2.com gehostet.

- Die Dokumentation könnte tiefer in reale Anwendungsfälle eintauchen, manchmal muss man Dinge aus Beispielen oder Community-Diskussionen zusammensetzen.

- Das Verwalten mehrerer Umgebungen kann anfangs etwas verwirrend sein, besonders wenn es darum geht, Flags zwischen Staging und Produktion zu synchronisieren. Bewertung gesammelt von und auf G2.com gehostet.

Ich mag, dass Amplitude Feature Experimentation die Verbindung zwischen Experimenten und Produktanalysen direkt herstellt. Es macht es wirklich einfach, nicht nur A/B-Tests durchzuführen, sondern auch das Nutzerverhalten vor, während und nach dem Experiment zu verstehen, was die Entscheidungsfindung beschleunigt und das Vertrauen in die Ergebnisse erhöht. Bewertung gesammelt von und auf G2.com gehostet.

Ich habe nach einem Leitfaden oder einer Möglichkeit gesucht, dies schnell zu lernen, und nach einer Demo, um damit anzufangen. Es hat eine Weile gedauert, bis ich mich daran gewöhnt habe. Bewertung gesammelt von und auf G2.com gehostet.

Amplitude ist eindeutig um eine leistungsstarke Analyse-Engine herum aufgebaut, die sehr flexible Segmentierung, Kohorten und Filterung ermöglicht. Dies macht das gezielte Ausrichten von Experimenten ziemlich einfach und ermöglicht in Verbindung mit flexiblen benutzerdefinierten Dashboards eine tiefgehende Analyse der Ergebnisse direkt in Amplitude. Die Tatsache, dass Feature-Experimente und Feature-Flags auf derselben Engine basieren, vereinfacht die Integration mit Amplitude. Amplitude ist schnell zum Eckpfeiler der datenbasierten Entscheidungsfindung des Wachstumsteams geworden. Wir sind dort so gut wie jeden Tag. Bewertung gesammelt von und auf G2.com gehostet.

Mein größtes Ärgernis ist, dass die Benutzeroberfläche manchmal langsam zu navigieren ist. Zweitens konnte ich in der Dokumentation nirgendwo eine klare Erklärung finden, welche Kombinationen als UND bzw. ODER behandelt werden, für Filter und Segmente (für die spätere Analyse), also musste ich es durch Ausprobieren herausfinden. Es ergibt alles Sinn und alle logischen Operatoren, die ich mir wünschen könnte, sind vorhanden, aber die Semantik der Filter-/Segmentabfragen könnte meiner Meinung nach besser dokumentiert sein. Bewertung gesammelt von und auf G2.com gehostet.

Wir mögen, dass Amplitude Feature Experimentation in die Amplitude-Produktanalyseplattform integriert ist. Es ermöglicht uns, schnell zu iterieren, und da es einfach zu bedienen ist, kann ich Amplitude Feature Experimentation besonders Organisationen empfehlen, die neu im Bereich der Experimente sind. Bewertung gesammelt von und auf G2.com gehostet.

Beim Blick auf die Konkurrenz fehlt es Amplitude Feature Experimentation an fortgeschritteneren Implementierungen von CUPED und Bonferroni-Korrektur sowie an der Unterstützung eines Bayes'schen Inferenzansatzes. Darüber hinaus wäre es praktisch, wenn die automatisch generierte Experimentzusammenfassung als .pdf exportiert werden könnte oder relevante Slack-Kanäle benachrichtigt werden, sobald eine Entscheidung in einem Experiment getroffen wird. Bewertung gesammelt von und auf G2.com gehostet.

- Verbindet Experimente einfach mit Amplitude-Dashboards Bewertung gesammelt von und auf G2.com gehostet.

- Viele Funktionen; manchmal schwer zu wissen, wie man sie benutzt. Bewertung gesammelt von und auf G2.com gehostet.

Sehr einfach, A/B/C-Experimente einzurichten und mit mehreren Metriken zu vergleichen. Bewertung gesammelt von und auf G2.com gehostet.

Ich finde die statistische Signifikanz, um ein Experiment zu validieren, inkonsistent mit dem erforderlichen Umfang. Bewertung gesammelt von und auf G2.com gehostet.

Die Leichtigkeit, mit der Tests durchgeführt oder Experimente in Sekundenschnelle erstellt werden können. Bewertung gesammelt von und auf G2.com gehostet.

In vielen Fällen kann das Experiment nicht angewendet werden, wenn der Kunde einen Werbeblocker hat. Bewertung gesammelt von und auf G2.com gehostet.

Es hat eine großartige Integration mit dem Kernprodukt. Bewertung gesammelt von und auf G2.com gehostet.

Viele fehlende Funktionen. Ich würde Amplitude für diesen Anwendungsfall nicht wählen. Bewertung gesammelt von und auf G2.com gehostet.