Aus einer QA-Perspektive schätze ich an Loman am meisten, wie vorhersehbar sein Verhalten ist. Wenn ich denselben Anrufablauf mehrmals durchführe, reagiert die KI konsistent, was Regressionstests wirklich machbar macht. Viele Sprach-KI-Produkte sind frustrierend zu testen, weil die Ausgabe von Durchlauf zu Durchlauf abweicht, aber das war hier nicht meine Erfahrung. Loman geht auch besser mit Randfällen um, als ich erwartet hatte, einschließlich Unterbrechungen während der Bestellung, Kunden, die ihre Meinung ändern, ungewöhnlichen Menü-Kombinationen und Hintergrundgeräuschen auf der Seite des Anrufers. Es verschlechtert sich anmutig, anstatt den Ablauf zu unterbrechen. Es gibt immer noch gelegentlich falsch verstandene Elemente, besonders bei ungewöhnlichen Namen oder starken Akzenten, aber insgesamt bleibt die Erfolgsquote in unserer Testsuite hoch. Bewertung gesammelt von und auf G2.com gehostet.
Das Hauptproblem, auf das ich bei Tests immer wieder stoße, ist das gelegentliche Missverstehen – am häufigsten bei ungewöhnlichen Artikelnamen, stark akzentuierter Sprache oder wenn der Anrufer schnell spricht und dabei Modifikatoren stapelt. Es ist insgesamt kein häufiges Versagen, aber es ist die Kategorie von Fehlern, die ich am häufigsten protokolliere. Ich hätte auch gerne schnelleres Feedback, wenn ich Testanrufabläufe durchgehe; die Antwortlatenz ist im Allgemeinen in Ordnung, kann aber unter Last etwas ansteigen, und das zeigt sich deutlich in unseren Stresstests. Beide Probleme scheinen lösbar zu sein, und das Team ist aufgeschlossen, aber dies sind die rauen Kanten, die es wert sind, hervorgehoben zu werden. Bewertung gesammelt von und auf G2.com gehostet.
