Gör vi rätt som försöker mäta användbarhet?

Besökte idag ett intressant seminarium om Eye trackning som Inuse höll i. Jag blir alltid väldigt intresserad så fort jag hör talas om en metod där man kan mäta användbarhet och få resultatet i siffor.

Men tänker vi rätt då vi försöker få vårt mätresultat presenterat i siffror? De gånger jag försökt använda någon mätmetod som ger siffror som resultat så har det i slutändan iallafall varit de kvalitativa observationsintervjuerna som varit intressanta och gett upphov till mest diskussioner.

Vi kanske underskattar beslutsfattare då vi tror att vi måste presentera färdiga siffror istället för intelligent argumentation?

Jag vet inte? Jag törs iallafall ännu inte avfärda nyttan med att presentera användningstester i siffror eller annat tydligt mätbart resultat. Är en kombination det bästa eller räcker det med de kvalitativa intervjuerna?

Den otestade dörren

För några veckor sedan installerade vi två nya ytterdörrar - säkerhetsdörrar, klass 3. Familjen och jag bor i lägenhet, men den har två ingångar - den ena går till ett 'extrarum' som vi använder som arbetsrum.

Nå. Låset har kärvat en del; det har varit svårt att öppna den dörr vi huvudsakligen använder. Vi har trott att det har berott på vår gamla låscylinder.

I helgen gick dörren i baklås. Turligt nog gick det att använda den andra dörren, och på måndagen kontaktades låssmed.

Låssmeden kom. Låssmeden meckade. Låssmeden svor. Låssmeden ringde kolleger. Låssmeden plockade isär det fungerande låset för att se hur det satt ihop - det visade sig att vår sprillans nya dörr hade ett sprillans nytt (och oprövat) låssystem! Till slut fick han ge sig, och borrade upp låset. 90 minuter senare hade han fått dit ett nytt lås.

Innan han gav sig av fick jag tydliga instruktioner om att ALDRIG känna efter om ifall dörren var låst eller inte. Istället skulle jag lita på att den var det - hade jag vridit om nyckeln var dörren i lås...
Rycket i dörren gjorde nämligen att lås och ram kom i osynk, och med vanlig kolv är det inga problem men dehär supersäkra kolvarna som är som krokar fastnar i ramen.

Det intressanta är att låset är så 'mjukt' så att man inte känner att låset går i - man får ingen feedback på att handlingen lyckades.
När man går ut är det en sak. Man låser, och vet att det är låst. teoretiskt sett, i alla fall.
Från insidan är det en annan sak. Man vrider om vredet och hoppas att dörren är låst. Eftersom man kan vrida åt två håll och bara ett är rätt är det lite gambling...

Dörrfirman borde helt klart ha testat dörrarna innan de sattes i produktion.

Vad händer om nån rycker i dörren? Tjuvar känner på dörrar, barn känner på dörrar... Varför gör man en dörr som inte går att känna på?

Tack och lov gick allt utom den nya cylindern på garantin.
Men ändå.

Hur trovärdigt är resultatet?

De flesta av oss blir stressade när vi känner oss övervakade; många är de som presterar sämre under hård press. Jag kan se det i flera sammanhang, inte minst i det fotbollslag jag tränar där målgörarna och kreativiteten sprutar på träning men inte på match.

Hur påverkas testresultaten i användningstesten av detta?

Jag har vid ett flertal tillfällen observerat hur användare gör på ett sätt under test för att sedan kommentera att "så skulle jag inte ha gjort i verkligheten", och andelen "så skulle jag inte ha gjort i verkligheten" verkar öka med stressen i testsituationen.
Vi som agerar testledare kan göra mycket för att minska den stressen, men inte desto mindre påverkas många testpersoner av att veta att deras röst och aktiviteter spelas in - ännu värre är det om man dessutom spelar in deras ansiktsuttryck. Så - hur trovärdiga är resultaten?

När vi undersöker enskilda funktioner och dialoger - exempelvis en specifik sökfunktion som undersöks med syfte att identifiera precisa användninsgproblem - är trovärdigheten sannolikt relativt hög, men ett flertal tester måste genomföras för att verkligen etablera sanningshalten i resultaten.

När vi försöker fånga beteenden - när sökfunktionen undersöks med syfte att identifiera förväntningar och kringaktiviteter, eller när en omfattande tjänst undersöks med syfte att fånga generella problem - är trovärdigheten förmodligen lägre, och kvantitativt fler tester måste genomföras för att sanningshalten ska etableras.

Vi kan inte backa för att våra metoder för att fånga respons och aktivitet ligger som ett filter mellan användaren och det använda objektet. Många användbarhetsexperter eftersträvar det perfekt vetenskapliga resultatet.
Det är bara att inse att det inte är möjligt och att individens erfarenhet, referensramar och kreativitet spelar en mer avgörande roll än vad någon av oss skulle vilja.

Låtsas inte som om att vi någonsin levererar sanningar.
Den som gör det ljuger.