usability.edu.pl
vademecum użyteczności i dostępności
serwisów internetowych

Metody testów z użytkownikami

Metody prowadzenia testów z użytkownikami

Testowanie serwisów internetowych przy udziale użytkowników polega na przeprowadzaniu eksperymentów w celu uzyskania określonych informacji o projekcie tego serwisu. Początkowo testy skupiały się na gromadzeniu przede wszystkim różnorodnych danych liczbowych, które można analizować przy wykorzystaniu metod statystycznych. Obecnie ciężar badań przesuwa się w kierunku uzyskiwania bardziej subiektywnych danych jakościowych, opisujących doświadczenia użytkownika.

Najczęściej testowanie przebiega w ramach modelu, w którym uczestnik badania wykonuje szereg zadań opisanych w scenariuszu badania, natomiast badacz obserwuje użytkownika i rejestruje wszelkie informacje o jego działaniach. Następnie informacje te są analizowane w celu identyfikacji problemów ograniczających użyteczność, a także wykryciu trendów w zachowaniach użytkowników. Możemy wyróżnić następujące etapy przeprowadzania testów użyteczności:

  • Przygotowanie do testów.
    • Zdefiniowanie problemu badawczego.
    • Identyfikacja grupy docelowej serwisu.
    • Utworzenie scenariuszy użycia.
    • Przygotowanie aparatu badawczego i personelu.
    • Rekrutacja uczestników badania.
  • Przeprowadzenie testów z użytkownikami.
    • Wprowadzenie użytkownika.
    • Realizacja scenariuszy użycia.
    • Podsumowanie testu z użytkownikiem.
  • Analiza zgromadzonych danych ilościowych i jakościowych.

Pierwszym krokiem jest zdefiniowanie problemu badawczego, określenie celu przeprowadzenia danego eksperymentu. Konieczne jest jednoznaczne określenie, czego w wyniku określonego testu chcemy się dowiedzieć. Naczelny cel powinien następnie zostać rozbity na kilka celów pośrednich, w szczególności wyrażonych w jednoznaczny i mierzalny sposób.

Kolejny etap to definicja profili uczestników badania, na podstawie profili użytkowników grup docelowych do których kierowany jest serwis internetowy.

Na podstawie planowanego zestawu funkcjonalności, które wypełniał będzie serwis internetowy, należy utworzyć scenariusze zadań, które realizowane będą przez osoby badane w toku eksperymentu. Ważne jest jednoznaczne określenie znamion pomyślnie zakończonego zadania.

Przed przystąpieniem do prowadzenia eksperymentu konieczne jest również przygotowanie potrzebnych narzędzi – sprzętu komputerowego (stacja robocza, kamera, urządzenia eye-trackingowe, inne), oprogramowania oraz innych przedmiotów, a także samych pomieszczeń w przypadku prowadzenia badań w warunkach „laboratoryjnych”. Wybrać należy także personel, którego zadaniem będzie przeprowadzenie eksperymentów – badaczy, obserwatorów, inne osoby.

Najtrudniejszą częścią przygotowań do testowania jest zebranie odpowiedniej grupy uczestników badania, stanowiącej reprezentatywną próbkę z populacji grupy docelowej badanego serwisu internetowego. Kluczowe jest zebranie mieszanki osób o odpowiednio dobranych cechach charakterystycznych – doświadczeniu, kompetencjach, wieku, wykształceniu, dochodach itp. W celu rekrutacji użytkowników można skorzystać z szerokiego wachlarza metod, dostosowując charakter rekrutacji do grupy docelowej użytkowników których poszukujemy. W niektórych przypadkach wystarczające będzie pozyskanie uczestników z najbliższego otoczenia, jednak aby dotrzeć do niektórych grup (np. kadra zarządcza przedsiębiorstw) konieczne będzie skorzystanie z pomocy wyspecjalizowanej firmy rekrutacyjnej. Zgodnie z badaniami przeprowadzonymi przez Jakoba Nielsena i Toma Laundera1, zdecydowaną większość problemów usability można wykryć przeprowadzając testy z 5 użytkownikami. Eksperci ci postulują, aby zamiast zwiększać ilość uczestników badania powyżej pięciu, przeprowadzić większą ilość iteracji testów. W ten sposób dostępne zasoby można w wykorzystać na rzecz użyteczności serwisu w najefektywniejszy sposób.

Tuż przed przystąpieniem do testu należy sprawdzić poprawność działania całego aparatu badawczego – stacji roboczej, oprogramowania, urządzeń pomocniczych, wyposażenia pomieszczeń itp. Jeżeli w teście wykorzystane mają zostać prototypy, należy zweryfikować ich kompletność i poprawne działanie w obszarach których dotyczą scenariusze zadań. Ponadto przygotować materiały pomocnicze dla uczestnika badania jak listy zadań, a także materiały pomocnicze dla personelu badawczego, jak choćby formularze do prowadzenia notatek.

Test rozpocząć należy od odpowiedniego wprowadzenia uczestnika. Należy przybliżyć podstawowe informacje o zasadach testów użyteczności, celu badania, planowanym przebiegu testu i jasno określić wymagania stawiane przed użytkownikiem. W niektórych przypadkach na tym etapie podpisuje się z uczestnikiem badania umowę o zachowaniu poufności, czy też zgodę na rejestrowanie działań użytkownika.

Kolejny etap to realizacja przez uczestnika zadań przewidzianych w scenariuszach użycia. Obecność moderatora (lub jej brak) oraz stopień jego ingerencji zależą od obranej metody prowadzenia testu. Działania użytkownika są rejestrowane przy wykorzystaniu różnorodnych technologii, oprogramowania czy zewnętrznych narzędzi (np. kamer wideo), a także obserwacje mogą być na bieżąco zapisywane przez obserwatorów (lub samego uczestnika) w trakcie trwania testu.

Po zakończeniu realizacji zadań testowych należy wspólnie z użytkownikiem podsumować przebieg badania. Przede wszystkim warto umożliwić uczestnikowi przekazanie tak dużej ilości informacji zwrotnych na temat testowanego serwisu, jak to możliwe. Zadając odpowiednie pytania możemy także poznać opinię użytkownika o szczególnie interesujących nas obszarach. Dodatkowo, można poprosić o uwagi dotyczące samego przebiegu badania.

Ostatnią fazą jest analiza zgromadzonych w czasie testów danych ilościowych i jakościowych. Dane ilościowe wiążą się przede wszystkim z miarami wydajności działań użytkownika. Można poddać je analizie przy wykorzystaniu różnorodnych narzędzi statystycznych. Szczególnie wartościowe jest dostrzeżenie trendów w działaniach uczestników. Twarde dane liczbowe wzbogacane są przez informacje jakościowe, gromadzące opinie, komentarze, preferencje i sugestie użytkowników, których analiza jest trudniejsza i bardziej czasochłonna, jednak dalece bardziej wartościowa.2

Protokół „myślenia na głos”

Jest to technika popularnie wykorzystywana podczas prowadzenia testów użyteczności. W trakcie trwania badania uczestnik jest proszony o werbalizację swoich myśli, odczuć czy opinii które naturalnie pojawiają się w trakcie wykonywania przez niego zadanych w scenariuszu czynności.

Metoda ta pozwala na zrozumienie jak interfejs serwisu internetowego jest postrzegany przez użytkownika oraz w jaki sposób rozumuje on wykorzystując go do realizacji zadań. Główną korzyścią jest więc lepsze rozumienie modelu mentalnego użytkownika, istnieją jednak również korzyści poboczne, jak na przykład poznanie nieformalnej terminologii, z jakiej korzystają użytkownicy nazywając różne elementy serwisu lub działania.

Technika ta może być wykorzystana na dowolnym etapie rozwoju serwisu internetowego, jako uzupełnienie dla innych metod. Pozwala na gromadzenie dużej ilości jakościowych informacji zwrotnych, niskim kosztem.3

Wadą tej metody jest fakt, że użytkownicy skupiając część uwagi na werbalizacji swoich myśli, nie korzystają z serwisu internetowego w sposób naturalny. Mogą oni w efekcie pomyślnie ukończyć mniejszą ilość zadań, niż gdyby ich działania nie były zakłócane. Ponadto uczestnicy badań odczuwają opór przed zgłaszaniem wyraźnie negatywnych opinii.4

Metoda wspólnego odkrywania

W metodzie tej dwoje uczestników badania, pod obserwacją badaczy wspólnie realizuje scenariusze zadań. Zwraca się tu szczególną uwagę na sposób współpracy między użytkownikami. Obserwatorzy rejestrują miejsca, w których użytkownicy konsultują ze sobą swoje działania, zwracają się o pomoc, nie zgadzają się z działaniami drugiej osoby itp. 5

Technika ta znajduje świetne zastosowanie szczególnie w przypadku serwisów internetowych, które są wykorzystywane w środowiskach grupowych, jak np. w miejscu pracy, gdzie użytkownicy często korzystają z wzajemnej pomocy współpracowników.6

Protokół zadawania pytań

Jest to inna odmiana metody „myślenia na głos”, gdzie poza oczekiwaniem na werbalizację myśli użytkownika, badacz zadaje uczestnikowi badania bezpośrednie pytania odnośnie różnych elementów serwisu internetowego lub innych działań. Zdolność użytkownika do odpowiedzi na pytania – lub jej brak, wskazują które obszary są jasne, a które sprawiają trudności. Również sposoby poszukiwania odpowiedzi na zadane pytania zdradzają w jaki sposób użytkownicy radzą sobie z napotkanymi problemami. 7

Zaletą tej techniki jest możliwość uzyskania od uczestnika badania większej ilości pożądanych informacji niż przy zastosowaniu metody „myślenia na głos”, jednocześnie jednak za wadę można uznać możliwość zakłócenia przez badacza naturalnego toku myślenia użytkownika.

Testowanie retrospektywne

Testowanie retrospektywne może obejmować techniki protokołów „głośnego myślenia” oraz „zadawania pytań”, z tą jednak różnicą, iż uczestnik badania udziela informacji dopiero po zakończeniu realizacji scenariuszy zadań, na podstawie nagrania wideo rejestrującego jego działania w serwisie. Dzięki temu że jego interakcje z serwisem nie są zakłócane przez moderatora, obserwujemy bardziej naturalne zachowanie użytkownika. Z drugiej jednak strony użytkownik nie jest w stanie przywołać swojego dokładnego toku myślowego i tracimy możliwość poznania jego spontanicznych odczuć.8

Metoda „Coachingu”

Metoda ta polega na tym, iż uczestnicy testu w czasie realizowania scenariuszy zadań mają możliwość zadawania pytań związanych z serwisem „trenerowi”, który posiada szeroką wiedzę o działaniu serwisu i stara się udzielić wyczerpujących odpowiedzi. Zastosowanie tej techniki pozwala na poznanie potrzeb informacyjnych użytkowników, w celu przygotowania materiałów pomocy i dokumentacji oraz szkoleń dla przyszłych użytkowników serwisu, a w szczególnych przypadkach może być podstawą do przebudowy interfejsu i wyeliminowania problemu użyteczności.9

Pomiary wydajności

Celem przeprowadzania niektórych testów użyteczności jest uzyskanie jednoznacznych danych liczbowych, najczęściej dotyczących różnych miar wydajności działań użytkownika. Przykładem może być badanie jak dużo czasu zajmuje użytkownikom wykonanie określonego zadania w serwisie internetowym lub jaka jest częstotliwość popełniania błędów przez użytkownika. 10

Zaletą posiadania takich informacji jest możliwość ich analizy za pomocą metod statystycznych, a także porównań – benchmarków z serwisami konkurencyjnymi. Ponadto dane takie mogą być wykorzystane do kształtowania jednoznacznych celów, które chcemy osiągnąć w wyniku prac nad poprawą użyteczności serwisu. Przykładem takiego celu może być „skrócenie przeciętnego czasu potrzebnego użytkownikom na realizację zadania do 60 sekund”.11Wadą tej techniki jest konieczność bardzo rygorystycznego i sformalizowanego prowadzenia testów, aby zapewnić niezmienność warunków, w jakich przeprowadzane są poszczególne eksperymenty. To wpływa na wzrost kosztów badań oraz trudność ich prowadzenia.

Śledzenie ruchu oka (ang. eye tracking)

Badania typu eye tracking śledzą ruchy oka użytkownika względem ruchu i położenia jego głowy, a także punkty zatrzymania i skupienia wzroku. Badania te znajdują szerokie zastosowanie przy testowaniu użyteczności serwisów internetowych. Specjalne urządzenie typu eye tracker synchronicznie monitoruje i zapisuje aktywność oka użytkownika oraz jego działania w obrębie serwisu internetowego. Na podstawie tego zapisu badacze są w stanie ocenić jakie obszary strony internetowej skupiają uwagę internautów, a jakie są pomijane. W dalszej perspektywie można na tej podstawie wnioskować o optymalności rozwiązania nawigacji na stronie oraz innych zbliżonych zagadnieniach.12

Poważną wadą stosowania tej metody jest bardzo wysoki koszt urządzeń eye-trackingowych, co przekłada się na koszt prowadzenia samego badania. W większości przypadków wykorzystanie innych metod badania użyteczności pozwala na identyfikację większości problemów, pozwalając na uniknięcie konieczności przeprowadzenia drogich badań śledzenia ruchu oka.

Testy A/B

Metoda testów A/B służy porównaniu dwóch rozwiązań danego elementu serwisu internetowego względem określonego kryterium. Klasyczne testy A/B dotyczą zestawienia dokładnie dwóch wariantów, popularne jest jednak rozwijanie tej koncepcji do większej ilości wariantów, określane jako testy A/B/N lub A/B/Z.

Metoda ta polega na przygotowaniu dwóch (lub więcej) rozwiązań dotyczących określonego elementu serwisu internetowego, a następnie zbadanie, które rozwiązanie przynosi lepsze efekty względem określonego kryterium. W pojedynczym teście należy badać wpływ jednej i tylko jednej zmiennej na efekt. Pomiędzy kolejnymi testami należy wprowadzać zmiany w obrębie tylko jednej zmiennej. Założenia te są konieczne, aby być w stanie wyodrębnić indywidualny wpływ danej zmiennej na efekty. W przypadku jeśli w jednym teście badany jest wpływ kilku zmiennych jednocześnie, mówimy o testach wielowymiarowych, jednak analiza i interpretacja ich wyników jest bardzo skomplikowana.13

Ważną cechą testów tego typu jest dostarczanie „twardych” danych liczbowych dotyczących miar wydajności działania użytkownika, dzięki czemu ich wyniki mogą zostać poddane analizie statystycznej.

W przypadku wykorzystania testów A/B do badania użyteczności serwisu, znajdują one zastosowanie zarówno w fazie inicjalnego projektowania serwisu internetowego, kiedy szukamy optymalnego rozwiązania dla danego elementu interfejsu, a także w przypadku wprowadzania zmian w działającym serwisie, kiedy chcemy uzyskać empiryczne poparcie dla zaproponowanych zmian.14

Obecnie najpopularniejsze jest zdalne wykonywanie testów A/B przy wykorzystaniu jednego z szerokiej gamy narzędzi internetowych do tego służących. Wśród nich szczególne znaczenie ma darmowy produkt „Google Website Optimizer”, który umożliwia prowadzenie całego wachlarza testów oraz dokładną analizę efektów przy wykorzystaniu rozbudowanych statystyk.15

1 Zob. J. Nielsen, Why You Only Need to Test with 5 Users, Useit.com, http://www.useit.com/alertbox/20000319.html, [05.08.2010].

2 Zob. J. Hom, General Concepts of Usability Testing, The Usability Methods Toolbox, http://usability.jameshom.com/general.htm, [06.08.2010].

3 Zob. J. Hom, Thinking Aloud Protocol, The Usability Methods Toolbox, http://usability.jameshom.com/thnkalod.htm, [06.08.2010].

4 Zob. Research-Based Web Design & Usability Guidelines, op. cit., s. 190, [24.08.2010].

5 Zob. Co-discovery method, Usability First, http://www.usabilityfirst.com/glossary/co-discovery-method/, [06.08.2010].

6 Zob. J. Hom, Co-Discovery Method, The Usability Methods Toolbox, http://usability.jameshom.com/codiscvr.htm, [06.08.2010].

7 Zob. Question-asking Protocol, Usability Evaluation, http://www.usabilityhome.com/Question.htm, [06.08.2010].

8 Zob. Retrospective Testing, Usability Evaluation, http://www.usabilityhome.com/Retrospe.htm, [06.08.2010].

9 Zob. Coaching Method, Usability Evaluation, http://www.usabilityhome.com/Coaching.htm, [06.08.2010].

10 Zob. J. Hom, Performance Measurement, The Usability Methods Toolbox, http://usability.jameshom.com/perfmeas.htm, [06.08.2010].

11 Zob. Performance Measurement, Usability Evaluation, http://www.usabilityhome.com/PerfMeas.htm

12 Zob. V. Friedman (2007), op. cit., [24.08.2010].

13 Zob. A/B testing, Wikipedia, http://en.wikipedia.org/wiki/A/B_testing, [13.08.2010].

14 Zob. C. Chapman, A Complete Guide to A/B Testing, Webdesigner Depot, 20.07.2010, http://www.webdesignerdepot.com/2010/07/a-complete-guide-to-ab-testing/, [13.08.2010].

15 Zob. P. Chopra, The Ultimate Guide To A/B Testing, Smashing Magazine, 24.06.2010, http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/, [13.08.2010].

Przejdź do następnego rozdziału: Zdalne badania użyteczności »