Dit artikel is bedoeld als een algemene introductie tot user testing om websites, intranetten en webgebaseerde toepassingen te verbeteren. Zowel op desktop, laptop als mobiel.
User testing is de heilige graal van usability-onderzoek.
Hoe werkt user testing?
- Je laat een aantal mensen een reeks typische taken uitvoeren op je website, intranet, …. Of op een ontwerp, dat kan ook.
- De test gebeurt op individuele basis. Het gaat dus niet om een focusgroep waar een hoop mensen tegelijkertijd feedback geeft.
- De testpersoon behoort tot je doelgroep. Hij moet een bestaande of potentiële gebruiker zijn van je diensten, producten of website.
- Alles wat de testpersoon doet en zegt, wordt gefilmd. Zo kunnen jij en het webteam ook achteraf zaken verifiëren en analyseren.
- Spoor de testers aan om te surfen zoals ze dat thuis of op het werk doen.
Waarom is user testing waardevoller dan een expert review?
4 redenen waarom een goede usability expert vaak zal aandringen op een user test.
1. Experts weten niet alles
Hoe veel ervaring je ook hebt als expert, je kan niet alles weten.
En wat je vooral niet kan, is alles perfect inschatten. Dat is een les die ik op die meer dan 10 jaar als usability-expert wel geleerd heb. Meer daarover in mijn artikel ‘Met expertkennis alleen maak je geen goede website‘.
2. Feiten in plaats van meningen
Het advies van een expert kan een klant nog altijd wegwuiven met “Tja, dat is jouw mening hé”. Bij een gebruikerstest leg je feiten bloot.
En feiten zijn overtuigender dan meningen.
3. Eigen klanten negeren is moeilijk
Of toch moeilijker dan expertadvies negeren.
Als je tijdens een user test 5 van de 6 personen ziet sukkelen met je facetnavigatie, kan je niet anders dan beseffen dat het probleem moet aangepakt worden.
4. Overtuigend en blijvend bewijsmateriaal
De kracht van een filmpje waarop je je (potentiële) klanten ziet wroeten en vloeken, is immens. Op directiecomités snoeren die fimpjes zelfs de meest die-hard egotrippende ‘ik-weet-het-allemaal-beter’ managers en bestuursleden de mond. Been there, done that.
Bovendien kan je die filmpjes in de loop van een project blijven bovenhalen, als oude discussies weer de kop opsteken. “Weet je nog, tijdens de user test…”
Meest gebruikte soorten user testing
1. Moderated user testing, in persoon
Een website lanceren zonder voorafgaande user testing is altijd een sprong in het duister.
De klassieke user test is met een moderator. Die moderator zit naast de testgebruiker en geeft opdrachten, stelt vragen en speelt in op de lichaamstaal van de testpersoon etc.
Dit is zonder twijfel de beste methode. De gebruiker observeren en hem bijkomende vragen stellen levert een schat aan informatie op die je niet kan afleiden uit zijn muisbewegingen, kijkrichting of wat hij zelf spontaan zegt.
Je kan vragen stellen over zijn zuchten, fronsen, glimlach… Je kan doordringen in wat hij denkt. Begrijpen waarom hij twijfelt.
Dat blijft voor mij onbetaalbaar. En onvervangbaar door welke andere aanpak ook. Als je een goede moderator hebt natuurlijk. Want door de verkeerde vraagstelling of houding van de moderator kan je onderzoek waardeloos worden.
2. Remote moderated user testing
Het grootste nadeel van een klassieke user test is dat de testpersonen naar jou moeten komen of jij naar hen moet gaan. En tijd is nu eenmaal geld.
Remote moderated user testing is een uitstekend alternatief voor de klassieke user test.
Bij een remote user test zitten testpersoon en moderator niet op dezelfde plek maar kijken ze wel naar dezelfde website. Via screen sharing software is dat vandaag technisch erg makkelijk geworden.
Als de gebruiker een webcam heeft, kan je zelfs zijn gezicht zien. Dat maakt het een goed alternatief voor de klassieke moderated user test.
Wij gebruiken dit vaak voor internationale gebruikerstesten of als aanvullende methode, bijvoorbeeld bij een iteratie in het proces of als we heel specifieke zaken willen testen die per persoon niet veel tijd in beslag nemen.
Of tijdens een pandemie, dan ook natuurlijk.
3. Remote unmoderated user testing
De moderator valt weg en de testgebruiker leest de taken af van het scherm. Je kan hier nog 2 varianten onderscheiden:
- Opname van beeld en geluid
De gebruiker wordt (eenmalig) gevraagd luidop na te denken.
In mijn ogen een redelijk shitty methode. Dit verhoudt zich tot de klassieke user testing zoals kikkerdril tot kaviaar. Heel wat van deze testpersonen doen dit als professionele bijverdienste. Je hoort ze soms gewoon toneel spelen. Zoals bij Usertesting.com, om vooral geen namen te noemen.
Je hebt ook bijzonder weinig controle over de kwaliteit van de selectie van testpersonen. Behoren de testers wel echt tot je doelgroep? - Opname van de muisbewegingen en alle tijden
Bijkomende feedback wordt verzameld via een vragenlijst na elke taak. Erg handig om snel input van een grote groep mensen te verzamelen. Niet zo handig omdat je over het waarom toch een beetje in het duister blijft tasten.
En wat met eyetracking?
Dat is materiaal voor een afzonderlijk artikel. Eyetracking is een interessante maar vaak totaal verkeerd ingezette en verkrachte methode.
Zelf aan de slag met user testing?
Volg onze online training gebruikersonderzoek en vergroot je online succes.
Nice Article Karl. If you had a punchier headline, more people will read this post. Your third headline was great “Waarom is user testing waardevoller dan een expert review?” This is better as the lead headline.
Don Seidenberg
Good point Don. I clicked on Karls tweet “Waarom user testen waardevoller zijn dan een review door een usability expert” Message taken I guess. Nice article. Why so negative about eyetracking?
Don
Je hebt daar zeker een punt. Ik ga beide titels gebruiken als ab-test in onze volgende nieuwsbrief…
Els
Eyetracking: ik zeg toch dat het op zich een interessante methode is. maar ze wordt zo vaak misbruikt en misgeïnterpreteerd dat ik er minstens 1 artikel voor nodig heb.
Goed artikel! Input van users/bezoekers/gebruikers is het meest waardevol, aangezien dat een realistischer beeld geeft van hoe mensen jouw website gebruiken en waar de echte knelpunten zitten (er zijn altijd zaken die komen bovendrijven waar je niet aan hebt gedacht).
Maar: een review door een expert is zeker ook waardevol. Wellicht zullen er zaken onderbelicht blijven of niet aan bod komen, maar er staan wel pijnpunten in die meteen aangepakt kunnen worden (de oh zo populaire quick wins bij managers).
En tsja, testen vallen of staan met het niveau van de expert. Zeker met ingewikkeldere testen als eye tracking…
Om zeker te zijn dat er zoveel mogelijk pijnpunten naar boven komen zou ik een expert review en user testing houden (dat laatste met en zonder eye tracking).
Uiteraard is expert input ook waardevol. Al is het buiten de voordehandliggende zaken vaak erg moeilijk in te schatten wat echt een probleem zal zijn en wat minder.
Ik leer na meer dan 2.000 user testen gevolgd te hebben bij elke testdag nog iets bij. En bij elke website is er toch iets waarvan ik denk: ‘Oink, is dit echt geen probleem?’ of net ‘Fuck, hoe kan het nu dat mensen daarmee sukkelen?’
Dag Karl, ik zie dat je iets gedaan hebt met mijn reactie van 6/2 over de nieuwe homepage van KBC,leuk! Weet je, ik trok net hetzelfde gezicht! 🙂 toen ik de nieuwe homepage voor de eerste keer zag! Ik had op de facebook pagina van KBC bank en verzekeringen een paar dingen aangehaald die jij ook hier aanhaalt: user testing, eye-tracking, … Ik kreeg echter geen antwoord. Dit bevestigt dat ze totaal geen user tests gedaan hebben, toch zeker niet met klanten. En dit bevestigt ook dat er zeker heel wat dingen zijn blijven hangen van de opleiding die ik toch al een hele tijd geleden bij jou volgde
En daar ben ik dan weer blij mee: dat er na vele jaren nog dingen blijven hangen die ik verteld heb.
Mooi artikel! Helemaal mee eens 🙂
Jammer dat je zo negatief bent over eye tracking, juist omdat daar data uitkomt waarmee je de RTA ‘feiten’ kunt ontkrachten en bewijzen.
Respondenten die tijdens het uitvoeren van een taak mondeling verslag doen van hun denken tijdens het uitvoeren van die taak, kunnen dat uitsluitend door de focus op het uitvoeren van die taak tijdens het uitspreken van hun gedachten (tijdelijk te stoppen). Het cognitieve proces wat gaande is tijdens de uitvoering van de taak is hiermee ontregeld. Beter is tijdens de uitvoering van de taak eye tracking opnames te maken in combinatie met ‘En face’ video opnames van de respondent en dan achteraf de respondent zijn gaze plots en zijn ‘En face’ gezichtsuitdrukkingen te laten verklaren en vragen te beantwoorden.Door deze methode te volgen blijft het onderliggende cognitieve proces tijdens het uitvoeren van de specifieke taak geheel in takt. Een usertest met gebruik van RTA zonder eye tracking is een gemiste kans op hardere data. In feite wordt het proces tijdens het uitvoeren van de taak door RTA (om met de woorden van Karl te spreken) een beetje “verkracht”.
Daar lopen de meningen van onderzoekers zwaar uit elkaar natuurlijk. Ik behoor tot het kamp dat herinneringen als iets zeer subjectief en zwak beschouwen, en zeker als er dan gevraagd wordt ‘waarom keek je naar daar en keek je zo bedrukt’.
Er zijn onderzoeken bekend waarbij een foto getrukeerd werd zodat iemand zogezegd ergens was. Door die foto te tonen begon die persoon herinneringen op te halen aan iets waar hij nooit bij was.
Ik ontken trouwens nergens dat eyetracking goed is en zeker zijn waarde heeft. Ik zeg gewoon dat het een vaak verkrachte methode is.
Herinneringen als zodanig zijn zeer subjectief, maar juist een eye tracking gaze plot replay helpt een respondent nauwkeuriger zijn herinneringen te reproduceren. De respondent ziet exact waar hij of zij naar keek en waar de aandacht op gericht was. En juist bij de wat meer gecamoufleerde twijfel en onduidelijkheden wordt die door eye tracking keihard blootgelegd. Ook wordt het voor de respondent moeilijker zijn gedrag met onjuiste argumenten te verklaren omdat zijn aandachtspaden als harde data zijn vastgelegd. Bij RTA zonder eye tracking zijn de mogelijkheden tot misleidende argumentatie veel meer aanwezig.
Ik stel daarom dat een usertest op basis van RTA zonder eye tracking minder op zal leveren dan een usertest met eye tracking. Dat je klanten enthousiast zijn over de investering in een user test, laat buiten beschouwing dat een investering in een user test met eye tracking een betere investering geweest zou zijn. Het komt juist hierom vreemd over dat je eye tracking buiten beschouwing laat en de methode uitsluitend in een negatief daglicht plaatst. Het gaat ten slotte om de methode op zich en niet om het verkeerde gebruik er van.
Mooi dat je eyetracking zo fanatiek verdedigt, terwijl ik het zelfs niet aanval. Bij de user tests zeg ik ook dat het sterk afhangt van de moderator. Bij eyetracking zeg ik gewoon dat het vaak misbruikt wordt.
Er zijn wat eyetracking betreft veel kampen. Jared M. Spool heeft er veel bedenkingen bij. Ik ook. Vandaar voedsel voor een apart artikel en daar dan een verdere discussie.
Dat er een verband is tussen kijken en registratie door de hersenen is een erg gevaarlijk uitgangspunt.
Ik kijk er naar uit om de discussie aan te gaan over je stelling dat het een gevaarlijk uitgangspunt is een verband te zien tussen kijken en registratie door de hersenen.
Ik vind het vreemd dat je een expert review zo direct vergelijkt met een usability test. Dit zijn naar mijn mening twee verschillende diensten.
Uiteraard klopt het dat een expert niet alles weet, maar veelal kan deze expert met gemak een lijst maken van verbeterpunten. Als deze punten opgepakt worden staan ze niet meer in de weg van een usability test. Het is bijzonder jammer om direct met een testgroep te beginnen om vervolgens erachter te komen dat iedereen op een zelfde soort manier vastloopt.
Het nut van een usability test is ook om meerdere visies inzichtelijk te maken. Om te ontdekken hoe verschillende mensen een website gebruiken. Een expert review gaat meer over basisprincipes zoals consistentie, feedback, betrouwbaarheid, duidelijkheid en toegankelijkheid enz.
Overigens ben ik het met Willem eens wat betreft eye tracking. Mits goed uitgevoerd biedt het een grote meerwaarde ten opzichte van usability testing door de inzichtelijkheid van het cognitieve proces
Ik neem aan dat je in de usabilitywereld zit. En je hebt gelijk. Ook wij bieden trouwens expert diensten aan. Maar we zullen in bepaalde stappen van het proces zeker aandringen op eerder user testen dan expert advies. Vanaf er twijfel is, zullen we zeggen: dat moeten we testen (user testing, ab-tetsing of andere methode).
Voor veel bedrijven die een website hebben, is dat verschil niet zo duidelijk. Zij begrijpen vaak niet waarom een expert niet alles ‘weet’. En waarom ze dat extra budget voor een user test zouden moeten vrijmaken.
En als gevolg daarvan zien wij dat er heel veel (en nu gebruik ik bewust het woord) zogenaamde experts zijn die hun eigen visie als waarheid beschouwen. Of die pietluttige mankementen inzake toegankelijkheid of consistentie als erg belangrijk bestempelen, terwijl ze in de praktijk amper een verschil maken.
Tenslotte: ja, als eye tracking goed wordt gebruikt is het een mooie aanvulling. Maar ik gok dat het in 80% van de gevallen fout wordt uitgevoerd en (vooral) voor de verkeerde doelen wordt ingezet. Maar nogmaals: dat is voor voor een ander artikel. Of een discussieavond.