Datengetriebene Experimente

Use-Case neuer Home Screen für KundenScope Experiment in ProduktionBrancheLogistik (RIO)

Ausgangslage

RIO ist eine Logistikplattform, die eine Vielzahl an digitalen Services für Fuhrparkmanager, Spediteure, Fahrzeugvermieter und Versender anbietet. Die Services bieten Kunden einen großen Mehrwert – allerdings zeigen empirische Daten, dass viele Kunden nach ihrer Registrierung auf der Plattform nicht sonderlich aktiv sind. Nach der Registrierung sehen neue User zuerst eine generische Startseite, den sogenannten Home Screen, mit Service-Updates und Werbebannern. Hierbei handelt es sich jeden Tag und für alle Nutzer um die gleichen Informationen – ohne Interaktionsmöglichkeiten und ohne Beschreibung, wo man anfangen sollte. Technisch wird der Content vom Marketing in einem CMS gepflegt und in eine React-Web-App eingebettet. Bislang wurde der Home Screen nicht weitergehend optimiert, da die Teams vorherrschend an einzelnen Services arbeiten und der Blick auf die komplette Plattform aus der Nutzerperspektive fehlt. Zudem führen personalisierte Inhalte in der Regel zu einem höheren Anpassungsaufwand in allen 23 Plattformsprachen. Der Home Screen als klassische und statische "Einheitslösung" ging jedoch noch nicht ausreichend auf individuelle Kundenbedürfnisse ein.

Lösungsansatz

Technische Exzellenz
Rapid Prototyping mit UI-Komponenten-Bibliothek, AWS CI/CD, heterogene Analyse-Tools
The LESS mindset
Mindset
kundenzentrische Perspektive, extrem kurze Feedbackschleifen, minimalistische Lösungen

In einem gemischten Team mit RIO-Kollegen haben wir uns zum Ziel gesetzt diese Situation zu verbessern. Nachdem wir unsere initiale Hypothese „Wir können die Aktivität von neuen Nutzern auf der Plattform erhöhen, indem wir anstelle der generischen Startseite eine Schritt-für-Schritt-Anleitung bereitstellen.“ formuliert hatten, haben wir uns sofort an die Erstellung eines neuen Konzepts gemacht: Wir haben uns für einen auf Anwendungsfälle fokussierten Ansatz entschieden, anstatt den Nutzern lediglich die unterschiedlichen Services vorzustellen. Nachdem wir die Kunden durch die obligatorischen ersten Schritte geführt haben, können sie selbst entscheiden, was sie als Nächstes tun wollen. Somit können wir später zum einen die Startseite auf Basis von echtem Nutzer-Feedback optimieren und zum anderen die wichtigsten Kundenbedürfnisse besser verstehen.

Um dieses Experiment mit vertretbarem Aufwand durchzuführen, haben wir fast überall den direkten Weg gewählt. Die neue Variante wurde nur für kürzlich registrierte deutschsprachige Kunden ausgespielt, um Internationalisierungsprobleme zu vermeiden. Anstatt ein CMS anzubinden, haben wir alle Inhalte in der React-App hart kodiert. Durch diese Entscheidungen konnten wir uns auf unsere Hypothese konzentrieren und die Abhängigkeiten und Seiteneffekte unseres Experiments sowie die Abstimmung mit Stakeholdern minimieren. Des Weiteren haben wir sämtlichen State in Cookies verwaltet, um ein teures Backend für unser MVP zu vermeiden. Wir haben ganz bewusst einige etablierte Praktiken wie vollständige Testautomatisierung ignoriert, um schnell zu ersten Ergebnissen zu kommen. Mit diesem klaren Kundenfokus fanden wir heraus, was wir bauen müssen, bevor wir es richtig tun. Was jedoch nie zur Diskussion stand, war ein umfassendes User-Tracking – dies ist für jede Art von Experiment unumgänglich. Um unser Experiment zu analysieren, haben wir Daten aus unterschiedlichen Quellen (Google Analytics, Salesforce CRM, AWS Quicksight) zusammengeführt; diese Daten wurden bislang nur von einzelnen Teams und ohne ganzheitlichen Blick darauf genutzt und verwaltet.

Innerhalb von einer Woche hatten wir aus einer sehr allgemeinen Problembeschreibung ein umsetzungsreifes Konzept für unser Experiment erstellt. Eine Woche später war der neue Home Screen live. Das Messen von Kundenverhalten über die nächsten zwei Wochen hinweg ließ sich nicht beschleunigen, doch nach einer weiteren Woche hatten wir bereits Daten analysiert und visualisiert, Erkenntnisse daraus abgeleitet und nächste Schritte definiert. Das entspricht einer Durchlaufzeit von 5 Wochen und 3 Wochen tatsächliche Arbeitszeit für eine leichtgewichtige, aber vollständige empirische Produktentwicklungs-Iteration. Diese Geschwindigkeit war nur möglich, indem wir eng mit einigen Schlüsselpersonen über Teamgrenzen hinweg zusammengearbeitet haben – und mit niemandem sonst. Anstatt unsere Ideen schon in einer frühen Phase zu diskutieren, haben wir bewusst nur fertige und greifbare Zwischenergebnisse einem breiteren Publikum gezeigt. So konnten wir direkt konkretes Feedback einsammeln – und dieses Feedback war immer wieder herausragend.

Just coming out of the Stakeholder Review. I am absolutely thrilled by what I have seen. There was so much of what we at RIO stand for and want to stand for: starting from the customer perspective, rather getting something done fast than building ages without feedback, create and measure impact to then decide how to continue. And that all with a cross-functional team. I am impressed... Congrats to the Team!
Jan Kaumanns, CEO RIO

Wir haben gelernt, dass unsere initiale Hypothese verworfen werden muss, da es keinen signifikanten Unterschied zwischen der Nutzeraktivität in der ersten Woche auf der Plattform gab. Allerdings haben unsere Daten deutlich gezeigt, dass wir die Nutzer erfolgreich durchführen konnten: Fast die Hälfte schloss das komplette Onboarding schon beim ersten Besuch ab. Dadurch konnte der Anteil der Kunden mit mindestens einem am ersten Tag erfolgreich angebundenen Fahrzeug erhöht werden – die Grundvoraussetzung für die sinnvolle Nutzung weiterer Services.