A toborzás nem logisztika, hanem tervezés

Miért végződhet kudarccal egy módszertanilag tökéletesen előkészített felhasználói teszt?

Emlékszem egy projektre, ahol három hetet töltöttünk egy felhasználói teszt megtervezésével. A kérdések jók voltak. A feladatok reálisak voltak. A prototípus szilárd lábakon állt, és a beszélgetési útmutatóra is büszke volt a csapat. Ezután lefolytattuk az interjúkat öt résztvevővel.

Mindannyian az ügyfél platformjának régi, megrögzött fókuszfelhasználói (power user) voltak. Ketten közülük a kapcsolódó iparágakban dolgoztak, egy pedig konkrétan segített megírni az eredeti termékismertetőt. A visszajelzéseik aprólékosak és részletesek voltak, de szinte teljesen haszontalanok azok számára, akik valójában megvásárolták volna a terméket. Nem a valódi felhasználókat teszteltük, hanem bennfenteseket. Három hét további kutatásba telt, mire sikerült semmissé tennünk azokat a téves feltételezéseket, amelyeket ez az első kör bebetonozott.

Mi az a toborzási hiba, amely a legjobban képes elrejtőzni a kutatások során?

Az NNGroup a résztvevők hibás kiválasztását az egyik leggyakoribb és legköltségesebb hibának nevezi a UX-kutatásban. Ez a hiba azért veszélyes, mert kiválóan rejtőzködik. Ha a kérdéseid rosszak, azt érzed a tesztelés alatt. Ha az elemzésed hanyag, azt látod a prezentációban. De ha a résztvevők köre rossz, az eredmények a felszínen teljesen jónak fognak tűnni: koherensek, jól idézhetőek és magabiztosságot generálnak.

Pontosan ez a magabiztosság jelent egyúttal problémát is. Úgy jössz el öt interjúról, hogy erős irányvonalat és határozott termékdöntéseket fogalmazol meg, amelyek a valóságban a leendő felhasználóid közül pontosan nulla emberre igazak. A kutatás technikailag nem bukott el: sikeresen mért meg, csak éppen a rossz embereket.

Milyen három kérdést kell megválaszolnunk a szűrőkérdőív megírása előtt?

A jó toborzás nem a szűrőkérdőív (screener) megírásával kezdődik, hanem három alapvető kérdéssel, amelyek mindegyike más-más típusú zajt szűr ki a rendszerből.

Kiknek kell feltétlenül bekerülniük a kutatásba?

Itt határozzuk meg a beválogatási kritériumokat. Fontos, hogy ne demográfiai adatokra, hanem viselkedési mintákra fókuszáljunk. A múltbeli viselkedés sokkal erősebben jelzi előre a jövőbeli döntéseket, mint az életkor, a nem vagy a munkakör. Ha egy projektmenedzsment eszközt tesztelsz, az a kritérium, hogy „egyszerre több csapatban dolgozik", sokkal többet mond el, mint az, hogy „35-45 év közötti, középvezető". A viselkedés a tényleges termékkontextushoz köti a résztvevőt, míg a demográfia csupán egy marketing szegmenshez.

Kiknek kell mindenképpen kimaradniuk a tesztelésből?

A kizárási kritériumokat gyakran puszta formalitásként kezelik, pedig nem szabadna. Az iparági bennfentesek, az extrém haladó felhasználók, a terméket már ismerő személyek vagy a kapcsolódó szakmai érdekeltségűek mind olyan előfeltételezéseket hoznak magukkal, amelyek torzítják a mérési eredményeket. Ha valami olyasmit tesztelsz, amit első alkalmas felhasználóknak terveztek, mindenki, akinek már van mentális modellje a működésről, beszennyezi a tiszta jelet. A visszajelzésük nem rossz lesz, hanem irreleváns, csupán szakértelemnek álcázva.

Ki garantálja a kapott kutatási kép realitását?

A diverzitási kritériumok nem az absztrakt reprezentáció miatt léteznek, hanem a realizmusért. A jövőbeli felhasználói bázisod nem egyetlen persona. Az különböző kontextusok, digitális komfortfokozatok és megközelítések skálája. Ha a résztvevők mindegyike azonos előzetes tapasztalattal vagy technológiai háttérrel rendelkezik, akkor nem a valós világban méred a termékedet, hanem annak egy kényelmes, mesterségesen leegyszerűsített másában.

Hol szokott csendben elbukni egy kutatási szűrőkérdőív?

A legtöbb toborzási kudarc magában a szűrőkérdőívben (screener) gyökerezik, leggyakrabban két tipikus hiba miatt.

A leggyakoribb hiba, amikor demográfiai adatokra szűrnek a szükséges viselkedési minták helyett. Az a kérdés, hogy „Használ digitális eszközöket projektmenedzsmentre?", szinte semmit sem árul el, mert erre ma már mindenki igennel válaszol. Ezzel szemben az a megfogalmazás, hogy „Az elmúlt egy hónapban hányszor hozott létre új projektet a semmiből, ahelyett, hogy egy meglévőt duplikált volna?", már valódi információt ad. Ez a tényleges viselkedés alapján szűr, nem pedig az önbevallásos identitás szerint.

A második leggyakoribb hiba a rávezető kérdések alkalmazása, amelyek lehetővé teszik a jelentkezők számára, hogy visszafejtsék a „helyes" választ. A „Mennyire fontos Önnek a könnyű használhatóság?" nem egy szűrőkérdés, hanem egy meghívó az önkiválasztásra. Egy jól megírt szűrőkérdőív specifikus, viselkedésalapú, és kissé átláthatatlan a tekintetben, hogy pontosan milyen profilt keresel. Inkább egy valódi kérdőívnek kell tűnnie, mintsem egy szűrőfilternek.

Mi történik akkor, ha az ügyfél vagy a menedzsment azt kéri, hogy „csak a meglévő felhasználóinkat kérdezzük meg"?

Ha ügyfeleknek vagy belső termékcsapatoknak dolgozol, ezt a mondatot biztosan hallottad már. Néha a költségvetési nyomás szüli, néha pedig az a meggyőződés, hogy a hűséges felhasználók reprezentálják a teljes célközönséget. Ez azonban ritkán van így.

A meglévő felhasználók már alkalmazkodtak a termékhez. Kialakították a saját kiskapuikat, megszokták a hibákat, és teljesen elfelejtették, milyen érzés volt zavarodottnak lenni a felület első használatakor. Az ő visszajelzésük is értékes – de nem minden kérdésben. Ha őket használjuk a tágabb közönség helyettesítésére, az olyan termékekhez vezet, amelyek javulnak a meglévő 10% számára, miközben teljesen átláthatatlanok maradnak a piac maradék 90%-ának. A beválogatási, kizárási és diverzitási kritériumok megadják a szakmai nyelvezetet ahhoz, hogy ezt a beszélgetést ne módszertani kifogásként, hanem üzleti érvként folytasd le: a rossz toborzás ára a későbbi szakaszokban, a bevezetési eredményekben, a támogatási jegyekben és az ügyfélelemzésben (churn) fog megjelenni, nem pedig magában a kutatási ülésben.

Hogyan bukik el csendben egy rosszul toborzott kutatás?

Sok UX-kutatásban él egy kimondatlan hiedelem: az, hogy az emberek behozása a szobába csupán a logisztikai rész, és az igazi gondolkodás ott kezdődik, amikor kitaláljuk a megfelelő kérdéseket. Én magam is hosszabb ideig hittem ebben, mint amit szívesen beismernék.

A résztvevők kiválasztása azonban valójában az első és legfontosabb tervezési döntés. A kérdéseket, amiket felteszel, alapvetően meghatározza az, hogy ki az, aki érdemben válaszolni tud rájuk. A levont tanulságok teljesen attól függnek, hogy kinek a tapasztalatait mérted meg legelőször. Amikor a rossz emberek ülnek veled szemben, a kutatás nem látványosan törik össze. Csendben törik össze. Az adatok jól néznek ki, a prezentáció sikeres, a csapat magabiztos. Majd valahol később – egy alulteljesítő termékbevezetésnél vagy a megállapításaidnak ellentmondó piaci visszajelzéseknél – fedezed fel, hogy a felhasználók, akiknek a terméket építetted, a valóságban soha nem léteztek.

A toborzás nem logisztika. Ez az első dizájndöntés minden egyes kutatási projektben. Ha ekként kezeled, minden további lépés sokkal megbízhatóbbá válik.