Hur trovärdigt är resultatet?

De flesta av oss blir stressade när vi känner oss övervakade; många är de som presterar sämre under hård press. Jag kan se det i flera sammanhang, inte minst i det fotbollslag jag tränar där målgörarna och kreativiteten sprutar på träning men inte på match.

Hur påverkas testresultaten i användningstesten av detta?

Jag har vid ett flertal tillfällen observerat hur användare gör på ett sätt under test för att sedan kommentera att "så skulle jag inte ha gjort i verkligheten", och andelen "så skulle jag inte ha gjort i verkligheten" verkar öka med stressen i testsituationen.
Vi som agerar testledare kan göra mycket för att minska den stressen, men inte desto mindre påverkas många testpersoner av att veta att deras röst och aktiviteter spelas in - ännu värre är det om man dessutom spelar in deras ansiktsuttryck. Så - hur trovärdiga är resultaten?

När vi undersöker enskilda funktioner och dialoger - exempelvis en specifik sökfunktion som undersöks med syfte att identifiera precisa användninsgproblem - är trovärdigheten sannolikt relativt hög, men ett flertal tester måste genomföras för att verkligen etablera sanningshalten i resultaten.

När vi försöker fånga beteenden - när sökfunktionen undersöks med syfte att identifiera förväntningar och kringaktiviteter, eller när en omfattande tjänst undersöks med syfte att fånga generella problem - är trovärdigheten förmodligen lägre, och kvantitativt fler tester måste genomföras för att sanningshalten ska etableras.

Vi kan inte backa för att våra metoder för att fånga respons och aktivitet ligger som ett filter mellan användaren och det använda objektet. Många användbarhetsexperter eftersträvar det perfekt vetenskapliga resultatet.
Det är bara att inse att det inte är möjligt och att individens erfarenhet, referensramar och kreativitet spelar en mer avgörande roll än vad någon av oss skulle vilja.

Låtsas inte som om att vi någonsin levererar sanningar.
Den som gör det ljuger.