Geschreven door Roy van Hees, oprichter van Boldframe. Hij werkt al elf jaar in de e-commerce en doet tegenwoordig vooral onderzoek en A/B-tests voor webshops.
We willen graag dat onze ideeën werken, en lezen data het liefst zo dat ze dat bevestigen. Een eerlijk verhaal over de Ecodor-test, en hoe je jezelf tegen je eigen vooroordeel beschermt.
Een A/B-test geeft een uitkomst, maar jij geeft er betekenis aan. En daar gaat het vaak mis. We willen dat onze ideeën werken, en lezen de data het liefst zo dat dit blijkt. Dat heet confirmation bias: het zoeken naar, lezen en onthouden van informatie die bevestigt wat je al dacht.
Bij Schuurman was een sticky add-to-cart-balk een duidelijke winnaar. Dus toen we dezelfde test bij Ecodor draaiden, verwachtte ik eigenlijk hetzelfde. Het resultaat was het tegenovergestelde: de omzet per bezoeker daalde met bijna 11%.
Mijn eerste reactie, niet woord voor woord: dit kan toch eigenlijk niet waar zijn? Zeker niet met zo’n groot effect. Net in die periode had een bezoeker gemeld dat de bestelknop niet direct werkte. Dus ging ik de oorzaak daar zoeken. Waarom? Omdat ik mijn eigen aanname wilde bevestigen. De sticky add-to-cart moet wel werken voor deze shop, dacht ik.
Ik heb het uitgebreid onderzocht, op meerdere apparaten en in meerdere browsers. Ik vond geen fout. Dus moest ik accepteren dat de test, in die vorm, geen succes was, en dat een volledige invoering geld zou hebben gekost.
Controleren op technische fouten is zinvol, want een fout kan een uitkomst echt vertekenen. Maar let op wat er gebeurde: ik ging pas zo grondig zoeken omdat de uitkomst me niet beviel. Bij een winnaar gebeurt het omgekeerde: je gaat er direct van uit dat je een goed idee had en dat de test dat bevestigt, dus je vraagt veel minder snel of de winst wel klopt. Bij een verliezer ga je juist actief op zoek naar redenen, en kijk je veel kritischer naar de test, je onderzoek en jezelf. Wie alleen kritisch kijkt als een resultaat tegenvalt, schuift de uitkomst al richting het gewenste resultaat.
In de wetenschap geldt het omgekeerde als norm. Wetenschapsfilosoof Karl Popper betoogde dat een theorie pas serieus te nemen is als je hem kunt weerleggen, en dat je dus steeds moet proberen hem onderuit te halen. Vertaald naar testen: doe je uiterste best om je eigen hypothese te ontkrachten, in plaats van data te zoeken die je gelijk bewijst.
Dat voelt tegennatuurlijk, en dat is het ook. Maar het is de reden dat een test zin heeft. Een test die je alleen ‘wint’ omdat je de uitkomst naar je hand zet, levert niets op.
Leg vooraf je primaire metric vast, en blijf erbij. Beslis voor de start waar de test op wordt beoordeeld, bijvoorbeeld omzet per bezoeker. Is die metric negatief, dan is de test niet geslaagd.
Zoek achteraf niet naar een secundaire meting die het toch goed maakt. Je kunt wel extra data bekijken om te begrijpen waarom een test wel of niet werkte en hoe de volgende beter aansluit op het probleem. Maar gebruik dat nooit om een negatieve primaire metric alsnog goed te keuren.
Schrijf op wat je zou overtuigen dat je ongelijk hebt. Doe dat vooraf. Zo kun je achteraf niet meer schuiven.
Leg de testduur vooraf vast. Stop niet zodra de uitkomst je bevalt, en rek niet op omdat je het resultaat niet vertrouwt. Wij moesten bij Ecodor wel iets langer doorlopen om zeker te zijn van dit verrassende resultaat, en hebben dat eerlijk benoemd.
Begin met: ik weet niet of dit werkt. Dat is ook de kern van het artikel over waarom best practices niet bestaan.
Vink aan wat bij jou al gebeurt. Het is geen examen, maar een snelle spiegel.
Vink aan wat bij jou al gebeurt.
De neiging om testresultaten zo te lezen dat ze je eigen verwachting bevestigen: je zoekt naar data die je gelijk geeft en wantrouwt data die dat niet doet.
De ene meting waarop je vooraf bepaalt of een test succesvol is, bijvoorbeeld omzet per bezoeker. Je legt die vast voordat de test start.
Ja, om te begrijpen waarom een test werkte of niet en om de volgende test beter te maken. Niet om een test goed te keuren waarvan de primaire metric negatief was.
Schrijf vooraf op wat je zou overtuigen dat je ongelijk hebt, leg de primaire metric en de testduur vast en controleer fouten bij winst net zo zorgvuldig als bij verlies.
Geschreven door Roy van Hees, oprichter van Boldframe. Hij werkt al elf jaar in de e-commerce en doet tegenwoordig vooral onderzoek en A/B-tests voor webshops.
Eén test, één les. Eén keer per maand een korte mail over een test bij een webshop en wat we ervan leerden. Geen verkooptraject, uitschrijven kan altijd.
Bel of mail gerust direct, of kies hieronder zelf een moment.
Zie je de agenda niet? Open hem in een nieuw tabblad.
Je krijgt twee dingen die je direct kunt gebruiken, ook als je daarna niet met mij verder wilt.
Ik bezoek je webshop en analyseer waar je conversie-lekken zitten. Geen vaag rapport, maar directe actiepunten waar je zelf mee aan de slag kunt.