Onze e-mail marketing applicatie WebGenerator ProMail is uitgebreid met een functie waarvan we zeker weten dat je er heel veel rendement uit gaat halen: split-testen, ook wel A/B-testen genoemd.

Wat is split-testen of A/B-testen?

In de context van WebGenerator ProMail betekent dit, kort samengevat:

• Je maakt een mailing in twee varianten, vrijwel identiek maar met één verschil. Dat verschil kan zijn:
  • Een andere onderwerpregel.
  • Een andere afzender-identiteit (naam en/of e-mail adres).
  • Een verschil in de inhoud van de nieuwsbrief.

• Je verstuurt de beide varianten eerst naar twee gelijke, kleine delen van je verzendlijst. Stel dat je een verzendlijst van 2000 ontvangers hebt, dan verstuur je de 2 varianten elk naar een deel van bijvoorbeeld ieder 200 ontvangers.
• De variant die het beste scoort op het te meten verschil verstuur je daarna naar het resterende deel (dus 1600 ontvangers) van je verzendlijst.

"Poeh... klinkt als een hoop gedoe!"

... maar dat is het niet. Want met de nieuwe A/B split test functie in WebGenerator ProMail wordt het proces vrijwel volledig geautomatiseerd (zie de uitleg "Hoe werkt het?")

"Waarom zou ik het doen? Wat levert het op?"

A/B testen of split-testen is een eenvoudige manier om ervoor te zorgen dat je nieuwsbrief vaker wordt geopend en dat er meer wordt doorgeklikt op links in de nieuwsbrief. Door A/B testen toe te passen kun je, om maar een paar voorbeelden te noemen:

• Twee verschillende onderwerpregels uitproberen, om te zien welke onderwerpregels leidt tot meer gelezen e-mails of doorkliks.
• Twee verschillende sjablonen testen om te kijken welke het beste resultaat oplevert.
• Twee verschillende actie-aanbiedingen vergelijken, bijvoorbeeld "Nu met gratis bezorging" versus "Nu met 15% korting".
• Twee verschillende afzender-namen/adressen testen (werkt "Van: Piet Jansen | piet.jansen@xyzbv.nl" bijvoorbeeld beter dan "Van: XYZ bv | info@xyzbv.nl"?)

Hoe werkt het?

Bij het opzetten van een nieuwe nieuwsbrief kun je in ProMail nu kiezen voor een gewone "campaign", waarbij alle ontvangers dezelfde nieuwsbrief ontvangen, of een "A/B campaign".

Kies de tab "A/B split campaign" en je krijgt het onderstaande scherm te zien, waarin je de opties voor je A/B test kunt instellen.

Afhankelijk van de optie die je kiest, zul je extra velden zien verschijnen, om verschillende onderwerpregels of afzendergegevens in te vullen. Als je een A/B test met nieuwsbriefinhoud wilt uitvoeren, volgt er nog een extra stap bij het bepalen van de inhoud van je nieuwsbrief. Je bepaalt dan twee keer de inhoud, één keer voor versie A en één keer voor versie B.

In een goede A/B test breng je slechts één verschil aan, zodat je het verschil in testresultaten ook echt kunt toewijzen aan één duidelijke oorzaak. Je hoeft de B-versie van je nieuwsbrief overigens niet helemaal opnieuw op te zetten: je kunt daarvoor een kopie van de A-versie nemen, om daarin vervolgens het verschil aan te brengen.

Hierna selecteer je je verzendlijst zoals je gewend bent. Daarna kun je door naar de volgende stap, het instellen van de laatste opties voor de test. Hierbij stel je in hoeveel mensen versie A en versie B gaan ontvangen, en hoeveel mensen de "winnende versie" zullen ontvangen.

Met een "schuifregelaar" bepaal je de grootte van elke groep. Je bepaalt hier ook op basis van welk criterium de winnaar wordt bepaald. Dat kan de variant zijn die het meest wordt geopend, de variant die overall de meeste unieke kliks krijgt of de variant die de meeste kliks op één specifieke link krijgt.

Tot slot stel je in hoe lang er gemeten dient te worden voordat de winnaar wordt bepaald. Dat kan variëren van een uur tot meerdere dagen. Je kunt overigens altijd tussentijds zelf de winnaar aanwijzen door in de statistieken te kijken: als een versie overduidelijk beter presteert, hoef je dus niet af te wachten tot de ingestelde "meettijd" voorbij is.

Je kunt nu op de gebruikelijke wijze controle-mails naar jezelf mailen (maar in dit geval van de twee verschillende versies) om daarna de nieuwsbrief te versturen.

Hoe zien de A/B test rapporten eruit?

Gedurende de ingestelde meettijd (of tot aan het moment dat je zelf een winnaar aanwijst) heeft via de rapportages tot een speciale A/B test rapportage. Die ziet er als volgt uit:

Je ziet in één oogopslag welke variant beter presteert op basis van je gekozen criteria. Ook zie je hoeveel meettijd er nog resteert. Daaronder zie je overigens ook de link waarmee je handmatig de winnaar kunt aanwijzen nog voordat de meettijd is verstreken. Dat kun je doen als een versie zeer duidelijk beter presteert: je hoeft dan niet te wachten tot de meettijd is verstreken.

Op het moment dat de winnaar is bepaald, ontvangen de resterende ontvangers in je verzendlijst automatisch de winnende versie van de nieuwsbrief. De resultaten daarvan kun je weer op de gebruikelijke manier bekijken bij de nieuwsbriefstatistieken. Je houdt ook toegang tot de A/B testrapportages, zodat je die nog eens kunt bekijken bij het opstellen van je volgende nieuwsbrieven.

Wij zijn zelf razend enthousiast over deze nieuwe functie... en razend benieuwd naar de eerste bevindingen van onze klanten. Heb je vragen? Of wil je ervaringen met A/B testen met ons delen? Stuur dan een mailtje naar promail@webgenerator.nl of -- als je het niet erg vindt om je ervaringen met de lezers van onze blog te delen -- reageer op deze blogpost.

Voor wie ProMail nog niet kent: klik hier voor uitgebreide informatie

Happy testing!