Recensioni e Dettagli del Prodotto Optimizely Feature Experimentation

Optimizely full-stack ci consente di potenziare le nostre funzioni ingegneristiche per gestire i loro esperimenti, allineandoli più strettamente alle metriche dei clienti e aiutandoli a esprimere il valore di ciò che fanno. Recensione raccolta e ospitata su G2.com.

Optimizely full stack non include alcune delle funzionalità avanzate che si ottengono con il lato client. L'installazione è più complicata e Optimizely non fornisce metriche pronte all'uso, devi calibrare e allineare tutto da solo. Recensione raccolta e ospitata su G2.com.

Optimizely Full Stack è estremamente potente per sperimentare e fare test A/B. Come sviluppatore, fornisce un framework completo di sperimentazione per il nostro prodotto. È altamente personalizzabile (poiché quasi tutto è fatto nel codice) e offre un'analisi dettagliata su come i nostri clienti interagiscono con il prodotto. Con Optimizely Full Stack, sono stato in grado di aumentare il tasso di conversione, identificare i punti critici nel nostro prodotto, ridurre gli attriti e creare una migliore esperienza utente per i nostri clienti. È semplicemente uno strumento necessario a questo punto. Lo usiamo ogni singolo giorno e non possiamo farne a meno. Recensione raccolta e ospitata su G2.com.

L'unica cosa che non mi piace di Optimizely Full Stack è la sua interfaccia web. A volte, ci vuole un po' per caricare. E nel complesso, sembra leggermente goffa.

Come sviluppatore, vorrei poter configurare tutto usando il codice invece di doverlo configurare tramite l'app web. Questo sarebbe in linea con la tendenza odierna della "Configurazione come Codice" (che è molto popolare nel mondo degli sviluppatori). In questo modo, dovrei usare l'app web solo per vedere i risultati.

In definitiva, questi sono dettagli. Alla fine della giornata, è un ottimo prodotto, e i problemi sopra menzionati non sono affatto dei fattori decisivi. Recensione raccolta e ospitata su G2.com.

La mia caratteristica preferita è la loro funzione di flag delle funzionalità, poiché è così versatile. Può passare concettualmente una funzionalità tra un esperimento e un rollout, il che è ottimo per qualsiasi team che ha bisogno di testare una funzionalità e iterare nel tempo. Recensione raccolta e ospitata su G2.com.

Alcune parti dell'interfaccia utente necessitano di un po' di lavoro per aiutare i team a muoversi più velocemente, ad esempio mostrando i toggle dell'ambiente sulla dashboard delle feature flag, avendo un pulsante "one click" per passare una funzione da esperimento a rollout di funzionalità senza costare più impressioni.

Uno dei maggiori punti dolenti del mio team, tuttavia, è come le modifiche a un rollout di pubblico e l'esposizione fatta per un esperimento debbano essere fatte per tutti gli ambienti di cui l'esperimento fa parte -- questo ha portato il mio team a dover creare progetti separati per ogni ambiente e duplicare gli esperimenti tra di essi. Recensione raccolta e ospitata su G2.com.

È facile iniziare una nuova esperienza e tutti i dati sono trasparenti per tutti nel team, non solo per gli sviluppatori. Recensione raccolta e ospitata su G2.com.

- È un po' difficile trovare dove/come configurare ogni ambiente, tutti quelli che si uniscono al team hanno dubbi al riguardo. Domande come "Dove cambio il valore della variabile x nello sviluppo", "Dove cambio la percentuale dell'esperimento nello sviluppo".

- Non mi piace dover cambiare gli esperimenti nell'ambiente quando sto sviluppando/testando qualcosa localmente, di solito c'è più di una persona che usa lo stesso ambiente.

- Fai test automatici, usiamo jest, è qualcosa che sta consumando tempo, principalmente quando l'obiettivo è testare tutte le varianti. Recensione raccolta e ospitata su G2.com.

Mi piace che si possano impostare diversi metriche secondarie/altre oltre alla metrica principale. I risultati sono molto chiari e mi piace che posso vedere tutto su una pagina, comprese le impressioni, le metriche, la significatività statistica, i tassi di conversione e le visualizzazioni. Sono un Product Manager e, dal punto di vista di un PM, lo strumento è facile da usare. Recensione raccolta e ospitata su G2.com.

Non mi piace che non ci sia un modo per filtrare sull'ambiente. Dato che Optimizely ti permette di mantenere ambienti Prod e altri separati per ogni esperimento, mi aspetterei di avere l'opzione di filtrare per ciascuno. Un sviluppatore del mio team ha trovato un modo per creare un segmento personalizzato per questo, ma è qualcosa che mi sarei aspettato di avere già pronto all'uso. Recensione raccolta e ospitata su G2.com.

Aggiungere flag di funzionalità per lo sviluppo basato su trunk Recensione raccolta e ospitata su G2.com.

Può diventare piuttosto complicato, a seconda di ciò che vuoi fare. Inoltre, hanno articoli sul blog che evidenziano correttamente i vantaggi di testare con i feature flag attivati e disattivati, ma non hanno esempi su come utilizzeresti il loro SDK per farlo. E quando viene chiesto, non sanno nemmeno come farlo effettivamente. Recensione raccolta e ospitata su G2.com.

Optimizely è una piattaforma di test A/B molto potente e le loro librerie sono facili da integrare nei nostri server web. Recensione raccolta e ospitata su G2.com.

Il sito web per gestire i flag delle funzionalità e gli esperimenti di Optimizely è un po' goffo. È molto lento se ci sono molti flag impostati, e i controlli per distribuire i flag sono spiegati male. Inoltre, abbiamo dovuto costruire uno strumento separato per mappare i pubblici di Optimizely ai nostri utenti. Recensione raccolta e ospitata su G2.com.

È facile controllare i test AB. Non c'è bisogno di scavare a fondo nei dati o fare query. È lì per tutti in azienda per vedere i risultati e analizzarli. Inoltre, i gruppi di esclusione rendono facile testare più test contemporaneamente. Recensione raccolta e ospitata su G2.com.

Non molto. Solo un po' più di sforzo sul lato tecnico rispetto ai test web. Ma cerchiamo principalmente di fare test fullstack poiché ci sembrano più accurati. Recensione raccolta e ospitata su G2.com.

Ci consente di fare tutta la parte analitica di collegare i nostri sistemi back-end al nostro toolkit di ottimizzazione. Questo significa che possiamo davvero entrare nei dettagli di come si sono comportati i nostri pubblici prima e dopo la conversione. Recensione raccolta e ospitata su G2.com.

Non è agile come il loro altro prodotto X Web. Può richiedere un po' di tempo ai nostri team di sviluppo/prodotto per avviare i test, a causa di tutta la 'plumbing' che dobbiamo fare. Anche se si sincronizza con altri strumenti di analisi, non è così facile da integrare come altri strumenti (ad esempio X Web). Recensione raccolta e ospitata su G2.com.

Risposta rapida alle domande fornite in optimizely-community.slack.com Recensione raccolta e ospitata su G2.com.

Anche la piccola caratteristica era presente "Asa Schachar:optimizely-white: 6 mesi fa

Penso di capire cosa sta succedendo. Questo è un buon feedback e penso che lo affronteremo in una prossima nuova versione dei rollout mirati.

Poiché il rollout per il primo pubblico è 0%, significa che il 0% di coloro che si qualificano per il primo pubblico sarà nel rollout. Quindi valuta la regola per tutti gli altri.

Per ottenere il comportamento che stai cercando, potresti dover utilizzare una variabile di funzionalità, per semplificare, potresti avere una variabile booleana abilitata che è vera o falsa.

Quindi per il rollout mirato, impostalo al 100% per tutti i pubblici ma cambia il valore della variabile per ciascun pubblico. In questo modo puoi avere un'esperienza vera per cypressON e un'esperienza falsa per cypressOFF. Ha senso? (modificato)" Recensione raccolta e ospitata su G2.com.