Lær om A/B-tester, konverteringsforskning og idéprioritering, fra testanalyse til arkivhåndtering, fra eksperter hos Google, HubSpot og Shopify.
Enten du er en erfaren gründer eller nettopp har begynt, har du sannsynligvis kommet over utallige artikler og ressurser om A/B-testing. Kanskje du allerede tester emnelinjene i e-postene dine eller innleggene dine på sosiale medier.
Til tross for all informasjonen om A/B-testing i markedsføring, snubler mange gründere når de setter det ut i praksis. Resultatet? Store forretningsbeslutninger basert på unøyaktige resultater fra feilaktige tester.
A/B-testing blir ofte forenklet, spesielt i innhold rettet mot butikkseiere. Her finner du alt du trenger for å komme i gang med ulike typer A/B-testing for e-handel, forklart på en enkel, men nyttig måte. A/B-testing kan være en spillveksler når det gjelder å velge riktig produktposisjonering, øke konverteringer på en landingsside, og mye mer.
Hva er A/B-testing?
A/B-testing, også kjent som split-testing eller bucket-testing, er prosessen med å sammenligne to versjoner av samme nettside, e-post eller annet digitalt innhold for å avgjøre hvilken som presterer best basert på brukeradferd.
A/B-testing er et nyttig verktøy for å forbedre ytelsen til markedsføringskampanjene dine og få en bedre forståelse av hva som konverterer målgruppen din. Det lar deg svare på viktige forretningsspørsmål, øke inntektene fra den trafikken du allerede har, og legger grunnlaget for en datadrevet markedsføringsstrategi.
Hvordan A/B-testing fungerer
- Definer målet ditt. Etabler målene for A/B-testen, som å øke konverteringer, klikkfrekvenser eller totalt salg.
- Velg elementet du vil teste. Du kan teste overskrifter, bilder, emnelinjer i e-post, call-to-actions (CTA), priser, oppsett osv.
- Lag variasjoner. Utvikle to versjoner av elementet ditt: Versjon A, som er den originale versjonen av innholdet, eller «kontrollen», og Versjon B, som er den nye versjonen med endringene du ønsker å teste, også kjent som «varianten». I markedsføringskonteksten viser du 50 % av besøkende Versjon A og 50 % Versjon B for å sammenligne ytelsen.
- Kjør testen. Utsett begge gruppene for den samme versjonen over en forhåndsbestemt periode. For eksempel, hvis du tester CTA-knappen på en e-handelsbutikk, kan du kjøre testen i to uker for å oppnå statistisk signifikante resultater.
- Samle data. Overvåk og mål konverteringer, klikk, engasjementsnivåer og salg på tvers av begge versjoner.
- Analyser resultatene. Sammenlign ytelsen til Versjon A versus Versjon B for å avgjøre hvilken som mer effektivt møter målet ditt. Versjonen med høyest konverteringsrate vinner.
- Kunngjør vinneren. Hvis Versjon B har den høyeste konverteringsraten, erklær den som vinneren og send 100 % av besøkende dit. Denne versjonen blir den nye kontrollen, og du må lage en ny variant for fremtidige tester.
💡Vurdering: En A/B-testkonverteringsrate kan ofte være et ufullstendig mål på suksess. For eksempel, hvis du priser en vare til 500 kroner på den ene siden og tilbyr den helt gratis på den andre, vil det ikke gi noen virkelig verdifulle innsikter. Som med ethvert verktøy eller strategi, må A/B-testing være strategisk og gi mening i konteksten av dine mål.
Derfor bør du spore verdien av en konvertering helt frem til det endelige salget.
Når du bør A/B-teste
Hvis du driver en nettside med lav trafikk eller en web- eller mobilapp, er A/B-testing sannsynligvis ikke den beste optimaliseringsinnsatsen for deg. Du vil trolig få høyere avkastning på investeringen (ROI) ved å gjennomføre brukertesting eller snakke direkte med kundene dine. Til tross for hva mange tror, starter og slutter konverteringsrateoptimalisering ikke med testing.
Hvorfor to til fire uker? Husk at du ønsker å kjøre tester i minst to fulle forretningssykluser, som vanligvis utgjør to til fire uker. Du tenker kanskje: «Ikke noe problem, jeg skal kjøre testen i mer enn to til fire uker for å nå den nødvendige utvalgsstørrelsen.» Men det vil heller ikke fungere.
Jo lenger en test pågår, desto mer utsatt blir den for trusler mot ekstern gyldighet og utvalgsforurensning. For eksempel kan besøkende slette informasjonskapslene sine og dermed bli registrert som nye besøkende i A/B-testen. Eller noen kan bytte fra mobiltelefon til stasjonær datamaskin og ende opp med å se en alternativ variasjon.
Essensielt kan det å la testen kjøre for lenge skjeve resultatene like mye som å ikke la den kjøre lenge nok.
Testing er en verdifull investering for butikker som kan oppnå den nødvendige utvalgsstørrelsen i løpet av to til fire uker. For butikker som ikke kan nå dette, bør andre former for optimalisering vurderes inntil trafikken øker.
Sett opp A/B-testprosessen din
Prioriter A/B-testideer
En lang liste med eksempler på A/B-testing kan være spennende, men lite nyttig når det gjelder å bestemme hva du skal teste. Hvor begynner du? Det er her prioritering kommer inn.
Det finnes noen vanlige rammeverk for prioritering av A/B-testing som du kan bruke:
- ICE. ICE står for impact, confidence, and ease. Hver av disse faktorene får en rangering fra 1 til 10. For eksempel, hvis du enkelt kan gjennomføre testen selv uten hjelp fra en utvikler eller designer, kan du gi «Ease» en 8. Det er viktig å bruke din egen vurdering her, men hvis flere personer er involvert i testing, kan rangeringen bli for subjektiv. Det hjelper å ha et sett med retningslinjer for å sikre objektivitet.
- PIE. PIE står for Potensial, Viktighet og Enkelhet. Hver faktor får en rangering fra 1 til 10. For eksempel, hvis testen vil nå 90 % av trafikken din, kan du gi «Importance» en 8. PIE er like subjektiv som ICE, så det kan være nyttig å ha retningslinjer for vurderingene i dette rammeverket også.
- PXL. PXL er et prioriteringsrammeverk utviklet av utdanningsplattformen CXL. Det er litt annerledes og mer tilpassbart, og tvinger frem mer objektive beslutninger. I stedet for tre faktorer, består det av Ja/Nei-spørsmål og et spørsmål om implementeringens enkelhet. For eksempel kan rammeverket spørre: «Er testen designet for å øke motivasjonen?» Hvis ja, får den en 1. Hvis nei, får den en 0. Du kan lære mer om dette rammeverket og laste ned et regneark for å komme i gang.
Når du har en idé om hvor du skal begynne, kan det også være nyttig å kategorisere ideene dine. For eksempel, innen konverteringsforskning, kan du bruke tre kategorier: Implementere, Undersøke og Teste.
- Implementere. Bare gjør det. Det er ødelagt eller åpenbart.
- Undersøke. Krever ekstra tanke for å definere problemet eller snevre inn en løsning.
- Teste. Ideen er solid og datainformert. Test det!
Mellom denne kategoriseringen og prioriteringen vil du være klar til å begynne med A/B-testing.
Utvikle en hypotese
Før du tester noe, må du ha en hypotese. For eksempel: «Hvis jeg senker fraktkostnadene, vil konverteringsratene øke.»
Ikke bekymre deg å danne en hypotese i denne situasjonen er ikke så komplisert som det kan høres ut. I bunn og grunn tester du en hypotese, ikke bare en idé. En hypotese er målbar, har som mål å løse et spesifikt konverteringsproblem, og fokuserer på innsikter i stedet for gevinster.
Når du skriver en hypotese, hjelper det å bruke en formel lånt fra Craig Sullivans Hypothesis Kit:
- Fordi du ser [sett inn data/tilbakemelding fra forskning]
- Du forventer at [endringen du tester] vil forårsake [effekten du anticiperer], og
- Du vil måle dette ved hjelp av [datametrikk]
Enkelt, ikke sant? Alt du trenger å gjøre er å fylle ut feltene, og A/B-testideen din har blitt til en hypotese.
Velg et A/B-testverktøy
Nå kan du begynne å velge et A/B-testverktøy eller split-testing-tjeneste. Ofte vil du tenke på Google Optimize, Optimizely, og VWO først. Alle er gode, trygge alternativer.
Her er mer informasjon om disse populære A/B-testverktøyene:
- Google Optimize. Gratis, med unntak av noen multivariate begrensninger, som ikke burde påvirke deg hvis du nettopp har begynt. Det fungerer godt når du gjennomfører A/B-testing i Google Analytics, noe som er en stor fordel.
- Optimizely. Lett å få mindre tester opp og gå, selv uten tekniske ferdigheter. Stats Engine gjør det enklere å analysere testresultater. Vanligvis er Optimizely det dyreste alternativet av de tre.
- VWO. VWO har SmartStats for å gjøre analysen enklere. I tillegg har det en flott WYSIWYG-editor for nybegynnere. Hver VWO-plan kommer med varmekart, undersøkelser på stedet, skjemaanalyse osv.
Det finnes også A/B-testverktøy i Shopify App Store som du kanskje finner nyttige.
Når du har valgt et A/B-testverktøy eller split-testing-programvare, fyller du ut registreringsskjemaet og følger de gitte instruksjonene. Prosessen kan variere avhengig av verktøyet. Vanligvis vil du bli bedt om å installere et kodebit (snippet) på nettstedet ditt og sette opp mål.
Bestem hvordan du skal analysere resultater
Hvis du utformer hypotesen din riktig, kan selv en test som ikke gir ønsket resultat, være en vinner. Du vil få innsikter som kan brukes til fremtidige tester og på andre områder av virksomheten din. Når du analyserer testresultatene, bør du fokusere på innsiktene, ikke om testen vant eller tapte. Det er alltid noe å lære, alltid noe å analysere. Ikke avvis tapere!
Det viktigste å merke seg her er behovet for segmentering. En test kan være en taper totalt sett, men det er stor sannsynlighet for at den har prestert godt med minst ett publikumsegment.
Her er noen eksempler på publikumsegmenter:
- Ny besøkende
- Tilbakevendende besøkende
- iOS-besøkende
- Android-besøkende
- Chrome-besøkende
- Safari-besøkende
- Stasjonære besøkende
- Tablet-besøkende
- Organiske søkebesøkende
- Betalte besøkende
- Besøkende fra sosiale medier
- Innloggede kjøpere
Du forstår poenget, ikke sant?
Det er stor sjanse for at hypotesen ble bekreftet blant visse segmenter. Det forteller deg også noe.
Analyse handler om så mye mer enn om testen var en vinner eller taper. Segmenter dataene dine for å finne skjulte innsikter under overflaten.
A/B-testprogramvare vil ikke gjøre denne analysen for deg, så dette er en viktig ferdighet å utvikle over tid.
Arkiver testresultatene dine
Si at du kjører din første test i morgen. To år fra i morgen, vil du huske detaljene fra den testen? Sannsynligvis ikke.
Derfor er det viktig å arkivere A/B-testresultatene dine. Uten et godt vedlikeholdt arkiv vil de verdifulle innsiktene du får gå tapt. I tillegg er det lett å ende opp med å teste det samme flere ganger hvis du ikke arkiverer resultatene.
Det finnes ingen «riktig» måte å gjøre dette på. Du kan bruke et verktøy som Effective Experiments, eller du kan bruke et enkelt regneark. Det er virkelig opp til deg, spesielt når du nettopp har begynt.
Uansett hvilket verktøy du bruker, må du sørge for at du holder oversikt over:
- Den testede hypotesen
- Skjermbilder av kontrollen og variasjonen
- Om den vant eller tapte
- Innsiktene som ble oppnådd gjennom analysen
Etter hvert som du vokser, vil du takke deg selv for å ha holdt dette arkivet. Det vil ikke bare hjelpe deg, men også nye ansatte og rådgivere/interessenter.
Eksempler på A/B-testing
Teknisk analyse
Laster butikken din raskt og riktig på alle nettlesere og enheter? Selv om du har en ny og flott smarttelefon, bruker noen fortsatt en fliptelefon fra 2005. Hvis nettstedet ditt ikke fungerer skikkelig og raskt, vil det definitivt ikke konvertere så godt som det kunne.
Undersøkelser på stedet
Disse dukker opp mens besøkende blar rundt i butikken din. For eksempel kan en undersøkelse på stedet spørre besøkende som har vært på samme side en stund, om det er noe som hindrer dem fra å gjøre et kjøp i dag. I så fall, hva er det? Du kan bruke disse kvalitative dataene til å forbedre teksten og øke konverteringsraten.
Kundeintervjuer
Ingenting kan erstatte å ta telefonen og snakke direkte med kundene dine. Hvorfor valgte de butikken din fremfor konkurrentene? Hvilket problem prøvde de å løse da de besøkte nettstedet ditt? Det finnes et utall spørsmål du kan stille for å komme til kjernen av hvem kundene dine er, og hvorfor de faktisk kjøper fra deg.
Kundesurveys
Kundesurveys er grundige undersøkelser som sendes til personer som allerede har gjort et kjøp (i motsetning til besøkende). Når du designer en kundesurvey, bør du fokusere på: å definere kundene dine, identifisere problemene deres, forstå usikkerhetene de hadde før kjøpet, og finne ord og uttrykk de bruker for å beskrive butikken din.
Analyse av analyser
Er analyseverktøyene dine riktig konfigurert for å spore og rapportere dataene dine? Det kan høres enkelt ut, men du vil bli overrasket over hvor mange verktøy som er feilkonfigurert. Analyse handler om å forstå hvordan besøkende oppfører seg. For eksempel kan du fokusere på konverteringstrakten: Hvor er de største lekkasjene? Med andre ord, hvor faller de fleste ut av trinnene i traktens prosess? Dette er et godt sted å begynne med testing.
Brukertesting
Dette er hvor du ser ekte mennesker i et betalt, kontrollert eksperiment forsøke å utføre oppgaver på nettstedet ditt. For eksempel kan du be dem om å finne et videospill i prisklassen 400 til 600 kroner og legge det i handlekurven. Mens de utfører disse oppgavene, narrer de tankene og handlingene sine høyt, slik at du kan få innsikt i deres opplevelse.
Øktopptak
Øktopptak er lik brukertesting, men her har du med ekte mennesker, ekte penger og ekte kjøpsintensjon. Du får se hvordan faktiske besøkende navigerer på nettstedet ditt. Hva har de problemer med å finne? Hvor blir de frustrerte? Hvor virker de forvirrede?
Det finnes flere typer forskning, men begynn med å velge den A/B-testmetoden som passer best for deg. Når du har gått gjennom noen av dem, vil du ha en lang liste med datadrevne ideer som er verdt å teste.
📚Lær mer: A/B-testeksempler
A/B-testprosesser fra ekspertene
Nå som du har vært gjennom en standard A/B-testtutorial, la oss se på de nøyaktige prosessene til ekspertene.
Krista Seiden, KS Digital
Min trinn-for-trinn-prosess for web- og app A/B-testing starter med analyse som jeg mener er kjernen i ethvert vellykket testprogram. I analysefasen er målet å undersøke analydataene dine, undersøkelses- eller UX-data, eller andre kilder til kundeinnsikt for å forstå hvor de beste mulighetene for optimalisering ligger.
Når du har en solid pipeline med ideer fra analysefasen, kan du gå videre til å formulere hypoteser om hva som kan gå galt, og hvordan du potensielt kan fikse eller forbedre disse områdene for optimalisering.
Neste steg er å bygge og kjøre testene dine. Sørg for å kjøre dem i en rimelig tidsperiode (jeg bruker vanligvis to uker for å fange opp ukentlige endringer eller anomalier). Når du har samlet nok data, analyser resultatene for å avgjøre vinneren.
Det er også viktig å ta seg tid i denne fasen til å analysere taperne, hva kan du lære av disse variasjonene?
Til slutt, og du kan kanskje først nå dette stadiet etter å ha investert tid i å bygge et solid optimaliseringsprogram, er det på tide å fokusere på personalisering. Dette krever ikke nødvendigvis et avansert verktøysett, men kan i stedet baseres på dataene du allerede har om brukerne dine.
Markedsføringspersonalisering kan være alt fra å målrette riktig innhold til de riktige plassene, til å målrette basert på individuelle brukerhandlinger. Ikke hopp rett inn i personalisering med en gang. Sørg for at du bruker nok tid på å få de grunnleggende elementene på plass først.
Alex Birkett, Omniscient Digital
På et høyt nivå prøver jeg å følge denne prosessen:
- Samle data og sørge for at implementeringene av analyser er nøyaktige.
- Analysere data og finne innsikter.
- Omforme innsiktene til hypoteser.
- Prioritere basert på påvirkning og enkelhet, og maksimere ressursallokeringen (spesielt tekniske ressurser).
- Kjøre en test (følge statistiske beste praksiser så godt jeg kan).
- Analysere resultatene og implementere eller ikke i henhold til resultatene.
- Iterere basert på funnene, og gjenta.
For å si det enklere: forskning, test, analyser, gjenta.
Selv om denne prosessen kan variere avhengig av konteksten (Tester jeg en forretningskritisk produktfunksjon? En CTA for et blogginnlegg? Hva er risikoprofilen og balansen mellom innovasjon og risikoredusering?), er den ganske anvendelig for selskaper av alle størrelser og typer.
Poenget er at denne prosessen er smidig, samtidig som den samler nok data både kvalitative kundeinnsikter og kvantitative analyser til å generere bedre testideer og prioritere dem effektivt, slik at du kan drive trafikk til nettbutikken din.
Ton Wesseling, Online Dialogue
Det første spørsmålet vi alltid stiller når vi ønsker å optimalisere en kundereise, er: Hvor passer dette produktet eller tjenesten inn i ROAR-modellen vi utviklet hos Online Dialogue? Er du fortsatt i risikofasen, hvor vi kan gjøre mye forskning, men ikke kan validere funnene våre gjennom A/B-tester og online eksperimenter (under 1 000 konverteringer per måned), eller er du i optimaliseringsfasen? Eller kanskje til og med videre?
- Risiko fase: Mye forskning, som vil bli oversatt til alt fra en forretningsmodellpivot til et helt nytt design og verdiforslag.
- Optimaliseringsfase: Store eksperimenter som fokuserer på å optimalisere verdiforslaget og forretningsmodellen, samt små eksperimenter for å validere brukeradferdshypoteser, som vil gi verdifull kunnskap for større designendringer.
- Automatisering: Du har fortsatt eksperimenteringskapasitet (besøkende) igjen, noe som betyr at du ikke trenger å utnytte ditt fulle testpotensial for å validere brukerreisen. Det som er igjen bør brukes strategisk for å vokse raskere nå, uten å fokusere på langsiktige lærdommer. Dette kan automatiseres ved å kjøre banditter eller bruke algoritmer.
- Re-tenk: Du slutter å legge til mye forskning, med mindre det er en pivot til noe nytt.
Så web- eller app A/B-testing er bare en stor ting i optimaliseringsfasen av ROAR og utover (inntil re-tenk).
Vår tilnærming til å kjøre eksperimenter er FACT & ACT-modellen:
Forskningen vi gjør er basert på vår 5V-modell:
Vi samler alle disse innsiktene for å utvikle en hovedhypotese støttet av forskning, som deretter leder til underhypoteser som prioriteres basert på data samlet gjennom enten desktop- eller mobil A/B-testing. Jo høyere sannsynlighet for at hypotesen er riktig, desto høyere vil den bli rangert.
Når vi har funnet ut om hypotesen vår er sann eller falsk, kan vi begynne å kombinere lærdommene og ta større skritt ved å redesigne eller justere større deler av kundereisen. Men på et tidspunkt vil alle vinnende implementeringer føre til et lokalt maksimum. Da må du ta et større skritt for å kunne nå et potensielt globalt maksimum.
Og selvfølgelig vil de viktigste lærdommene deles på tvers av hele selskapet, noe som fører til bredere optimaliseringer og innovasjoner basert på de validerte førstehåndsinnsiktene du har fått.
Markedsfører du til et internasjonalt publikum? Lær hvordan du gjør den prosessen enkel med pseudolokalisering.
Julia Starostenko, Pinterest
Formålet med et eksperiment er å validere at endringer på en eksisterende nettside vil ha en positiv innvirkning på virksomheten.
Før du begynner, er det viktig å vurdere om det faktisk er nødvendig å kjøre et eksperiment. Tenk på dette scenarioet: Du har en knapp med en ekstremt lav klikkrate. Det ville vært nesten umulig å redusere ytelsen ytterligere. Derfor er det ikke nødvendig å validere effektiviteten av en foreslått endring ved å kjøre et eksperiment.
På samme måte, hvis den foreslåtte endringen til knappen er liten, er det sannsynligvis ikke verdt å bruke tid på å sette opp, gjennomføre og avslutte et eksperiment. I dette tilfellet bør endringene implementeres for alle, og ytelsen til knappen kan overvåkes derfra.
Hvis det bestemmes at det vil være fordelaktig å kjøre et eksperiment, er neste steg å definere de forretningsmetrikene som bør forbedres (f.eks. øke konverteringsraten for en knapp). Deretter sørger vi for at riktig datainnsamling er på plass for å måle effekten av endringen.
Når dette er fullført, kjøres publikum tilfeldig gjennom en split-testing mellom to grupper: én gruppe får se den eksisterende versjonen av knappen, mens den andre gruppen får den nye versjonen. Konverteringsraten for begge gruppene overvåkes, og når statistisk signifikans er nådd, bestemmes resultatene av eksperimentet.
Peep Laja, CXL
A/B-testing er bare en del av det større bildet for konverteringsoptimalisering. Etter min mening handler det 80 % om forskning og bare 20 % om testing. Konverteringsforskning hjelper deg med å avgjøre hva du skal teste i utgangspunktet.
Min prosess ser vanligvis slik ut (en forenklet oppsummering):
- Utfør konverteringsforskning ved hjelp av et rammeverk som ResearchXL for å identifisere problemer på nettstedet ditt.
- Velg et høyt prioritert problem (et som påvirker en stor del av brukerne og er betydelig), og brainstorm så mange løsninger på dette problemet som mulig. La innsiktene fra konverteringsforskningen informere ideprosessen din. Bestem hvilken enhet du vil kjøre testen på (mobil A/B-testing må kjøres separat fra desktop).
- Bestem hvor mange variasjoner du kan teste basert på trafikk- og transaksjonsnivået ditt, og velg deretter de beste en eller to løsningene å teste mot kontrollen.
- Lag wireframes for de spesifikke behandlingene (skriv teksten, gjør designendringer, osv.). Avhengig av omfanget av endringene, kan det også være nødvendig å involvere en designer for å lage nye elementer.
- Få front-end utvikleren din til å implementere behandlingene i testverktøyet ditt. Sett opp nødvendige integrasjoner (som Google Analytics) og konfigurer passende mål for å spore resultatene.
- Utfør QA på testen (ødelagte tester er en av de største hinderne for A/B-testing) for å sikre at den fungerer korrekt på alle nettlesere og enhetskombinasjoner.
- Lanser testen!
- Når testen er ferdig, utfører du etter-testanalyse.
- Avhengig av utfallet, implementer vinneren, iterer på behandlingene, eller gå og test noe annet.
Vanlige feil i A/B-testing
Teste for mange variabler samtidig
Når du sammenligner to variabler på en gang, kan det hende du ikke kan avgjøre hvilken endring som forårsaket effekten.
Si at du ønsker å optimalisere en landingsside. I stedet for bare å teste en overskrift, tester du:
- Tekst på call-to-action
- Farge på CTA-knappen
- Headerbilder
- Overskrifter
Konverteringsratene øker, men du kan ikke tydelig identifisere hvilken endring som er ansvarlig. Hvis du tester én variabel om gangen, kan du isolere virkningen av hver endring og få mer nøyaktige resultater.
💡Vurdering: Multivariat testing er et alternativ hvis du ønsker å forstå hvordan flere variabler samhandler med hverandre. For å kjøre en multivariat test trenger du mer trafikk og en allerede godt optimalisert side for å gjøre inkrementelle forbedringer. Prosessen er langt mer kompleks enn å kjøre en enkel A/B-testing.
Utilstrekkelig utvalgsstørrelse
Påliteligheten av A/B-testresultatene dine avhenger av utvalgsstørrelsen. Små utvalg kan føre til falske positive eller negative resultater, noe som gjør det vanskelig å avgjøre om forskjellene skyldes endringene du har gjort, eller om de er et resultat av tilfeldig sjanse.
Se for deg at du tester to versjoner av en produktside for å se hvilken som gir høyere kjøpsrate. Du deler trafikken, men ender bare opp med 100 besøkende til Versjon A og 100 besøkende til Versjon B.
Hvis Versjon A har en konverteringsrate på 6 % og Versjon B har en konverteringsrate på 5 %, kan du tro at Versjon A er bedre. Men med bare 100 besøkende per versjon, er resultatene ikke statistisk signifikante. Det er mulig at med flere besøkende ville resultatene vært annerledes.
Den beste måten å bestemme en sunn utvalgsstørrelse på er med en utvalgsstørrelseskalkulator.
Korte testperioder
Kjør A/B-testen din i minst én, ideelt to, fulle forretningssykluser. Ikke stopp testen bare fordi du har oppnådd statistisk signifikans. Du må også oppfylle den forhåndsbestemte utvalgsstørrelsen. Til slutt, husk å kjøre alle tester i fullstendige ukeintervaller.
Hvorfor to fulle forretningssykluser? For det første hjelper to sykluser deg å ta hensyn til:
- «Jeg må tenke på det»-kjøpere.
- Ulike trafikkilder (Facebook, nyhetsbrev, organisk søk osv.)
- Anomalier. For eksempel, nyhetsbrevet ditt på fredag.
To forretningssykluser er generelt nok tid til å få verdifulle innsikter i brukeradferden til målgruppen din.
Hvis du har brukt et A/B-testverktøy for testing av landingssider, er du sannsynligvis kjent med det lille grønne «Statistisk signifikant»-ikonet.
For mange, dessverre, er det det universelle tegnet for «testen er kokt, avslutt den.» Som du vil lære nedenfor, betyr ikke det at A/B-testens statistiske signifikans er nådd at du bør stoppe testen.
Overser brukersegmentering
Hvis du ikke tar hensyn til ulike brukersegmenter, vil du få generaliserte resultater som kanskje ikke gjelder for alle.
Det er nyttig å segmentere brukere etter demografi, atferd eller andre relevante faktorer. Hva som fungerer for nye brukere, fungerer kanskje ikke for tilbakevendende brukere. Hvis du ikke segmenterer, risikerer du å fremmedgjøre nøkkelbrukergrupper og setter integriteten til testen din i fare.
Optimaliser A/B-testing for virksomheten din
Du har prosessen, du har verktøyene! Så kom deg ut der, skaff deg den beste A/B-testprogramvaren, og begynn å teste butikken din. Før du vet ordet av det, vil innsiktene begynne å generere mer penger i banken.
Hvis du ønsker å fortsette å lære om optimalisering, vurder å ta et gratis kurs, som Udacitys A/B-testing av Google. Du kan lære mer om web- og mobilapp A/B-testing og forbedre ferdighetene dine innen optimalisering.
Ofte stilte spørsmål om A/B-testing
Hva er A/B-testing?
På det mest grunnleggende nivået handler A/B-testing om å teste to versjoner av noe for å se hvilken som presterer bedre. Du kan A/B-testing en rekke elementer relatert til virksomheten din, inkludert innlegg på sosiale medier, innhold, e-post og produktsider.
Hva er et eksempel på A/B-testing?
Et eksempel på A/B-testing kan være å kjøre betalt trafikk til to litt forskjellige produktsider for å se hvilken som har høyest konverteringsrate. For å sikre at A/B-testene dine gir verdifulle innsikter, anbefales det at du har mer enn 5 000 besøkende på hver side.
Hvorfor bruker folk A/B-testing?
A/B-testing lar deg teste to versjoner av en nettside, app eller markedsføringskampanje ved å vise forskjellige versjoner til ulike brukersegmenter samtidig. Dette hjelper deg med å avgjøre hvilken versjon som gir flere konverteringer, engasjement eller salg.
Hva er et eksempel på A/B-testing på sosiale medier?
Et eksempel på A/B-testing på sosiale medier kan være å teste effektiviteten av annonser på Instagram. Du lager to versjoner av en annonse, hver med forskjellig medieinnhold, og analyserer deretter hvilken versjon som får flere klikk og salg.