Ile odpowiedzi potrzeba w ankiecie? Jak policzyć wielkość próby

„Ile odpowiedzi potrzebuję, żeby wynik był wiarygodny?" to najczęstsze pytanie zadawane przed uruchomieniem ankiety i jednocześnie pytanie, na które najczęściej pada zła odpowiedź. Zła, bo albo brzmi „im więcej, tym lepiej", albo powtarza zasłyszaną liczbę w rodzaju „minimum 100". Tymczasem potrzebna liczebność wynika z prostego rachunku i z decyzji, którą chcesz podjąć. Ten tekst tłumaczy ten rachunek bez wzorów statystycznych ponad konieczność i pokazuje, jak stosować go w praktyce.

W skrócie

• Liczebność zależy od dokładności, jakiej potrzebujesz, a nie od wielkości firmy czy bazy klientów.
• Około 380-400 odpowiedzi daje margines błędu w okolicach 5 punktów procentowych i to jest rozsądny punkt wyjścia dla badań ilościowych.
• Wielkość populacji przestaje mieć znaczenie powyżej kilku tysięcy osób. Dla 10 tysięcy i dla 10 milionów klientów potrzebna próba jest praktycznie identyczna.
• Sposób doboru osób jest ważniejszy niż ich liczba. 300 odpowiedzi z losowo zaproszonej grupy bije 3000 odpowiedzi z widgetu, który wypełniają wyłącznie najbardziej zaangażowani.
• Do badań jakościowych (rozmowy, testy) wystarcza 6-10 osób na grupę, bo tam nie liczysz odsetków, tylko szukasz wzorców.

Duża próba nie naprawia złego doboru osób. Zwiększa tylko precyzję pomiaru czegoś, co i tak było przekrzywione.

Trzy pojęcia, które trzeba rozumieć

Zanim policzysz cokolwiek, warto rozróżnić trzy słowa, które w rozmowach mieszają się nagminnie.

Populacja to cała grupa, o której chcesz coś powiedzieć: wszyscy twoi klienci, wszyscy pracownicy, wszyscy odwiedzający sklep w danym miesiącu. Musisz ją zdefiniować, zanim zaczniesz, bo od niej zależy, kogo zapraszasz.

Próba to osoby, które faktycznie odpowiedziały. Uwaga: nie te, które zaprosiłeś, tylko te, które wypełniły ankietę.

Margines błędu to zakres, w którym prawdopodobnie mieści się prawdziwy wynik. Jeśli 62% respondentów wybrało odpowiedź A przy marginesie 5 punktów procentowych, prawdziwa wartość w populacji leży najpewniej między 57% a 67%. Do tego dochodzi poziom ufności, zwykle 95%, który mówi, jak często taki przedział trafia w rzeczywistą wartość przy powtarzanych badaniach.

Te dwie liczby zawsze idą w parze. Podanie samego wyniku „62%" bez informacji o liczebności i marginesie jest niepełne, a przy małych próbach po prostu mylące.

Ile odpowiedzi przy jakim marginesie

Poniższa tabela zakłada poziom ufności 95%, dużą populację (powyżej 20 tysięcy) i najostrożniejszy wariant rozkładu odpowiedzi (50/50). Dla mniejszych populacji potrzebne liczby są nieco niższe.

Skok z 5 na 3 punkty procentowe wymaga niemal trzykrotnie większej próby. To jest kluczowa własność tego rachunku: precyzja rośnie znacznie wolniej niż koszt. Dlatego rzadko opłaca się gonić za bardzo małym marginesem, jeśli decyzja i tak byłaby ta sama przy 5 punktach.

Poprawka na małą populację

Jeżeli twoja populacja jest niewielka, potrzebna próba spada. Dla 95% ufności i marginesu 5 punktów:

Ostatnie wiersze pokazują rzecz, która wielu osobom wydaje się nieintuicyjna: przy dużych populacjach ich wielkość przestaje mieć znaczenie. Badanie miliona klientów wymaga niemal dokładnie tylu odpowiedzi, co badanie pięćdziesięciu tysięcy.

Jak przełożyć liczbę odpowiedzi na liczbę zaproszeń

Potrzebna liczba odpowiedzi to nie liczba wysyłanych zaproszeń. Trzeba ją podzielić przez spodziewany odsetek odpowiedzi.

liczba zaproszeń = potrzebna liczba odpowiedzi / spodziewany odsetek odpowiedzi

Realistyczne przedziały odsetka odpowiedzi, przydatne do planowania:

Przykład: chcesz 384 odpowiedzi, spodziewasz się 12% zwrotu z maila. Potrzebujesz około 3200 zaproszeń. Jeśli twoja baza ma 1500 adresów, ten margines błędu jest poza zasięgiem w jednej wysyłce i trzeba albo zaakceptować szerszy przedział, albo zbierać dane dłużej, albo poprawić odsetek odpowiedzi. Konkretne sposoby na to drugie opisaliśmy w tekście wskaźnik ukończenia ankiety.

Segmenty, czyli ukryty mnożnik

Najczęstsza pułapka w planowaniu wielkości próby: zebranie 400 odpowiedzi z myślą o analizie sześciu segmentów. Po podziale okazuje się, że w każdym segmencie jest po kilkadziesiąt osób, a wtedy margines błędu w segmencie wynosi kilkanaście punktów procentowych i żadne porównanie nie ma sensu.

Zasada praktyczna: wymagana liczebność dotyczy najmniejszej grupy, o której chcesz wypowiadać się osobno. Jeśli planujesz raportować wyniki dla czterech regionów, potrzebujesz przyzwoitej liczby odpowiedzi w każdym z nich, a nie łącznie.

Minimalne progi, którymi warto się kierować przy raportowaniu segmentu:

• poniżej 30 odpowiedzi - nie podawaj odsetków, opisz jakościowo albo w ogóle nie raportuj,
• 30-99 odpowiedzi - podawaj z wyraźnym zastrzeżeniem, traktuj jako sygnał,
• 100-299 odpowiedzi - można porównywać ostrożnie, margines około 6-9 punktów,
• 300 i więcej - normalne raportowanie.

Gdy jeden z segmentów jest z natury mały (na przykład klienci nowego produktu), stosuje się nadreprezentację: zapraszasz do udziału większy odsetek osób z tej grupy, a przy liczeniu wyniku ogólnego przywracasz właściwe proporcje wagami. To standardowa technika, wymaga jednak zapisania w metodologii.

Kiedy nie liczy się liczebność

Cały powyższy rachunek dotyczy badań ilościowych, w których podajesz odsetki i porównujesz grupy. W badaniach jakościowych logika jest inna: nie szacujesz proporcji, tylko szukasz istniejących wzorców i przyczyn.

To kryterium nazywa się nasyceniem: przerywasz, gdy nowe rozmowy przynoszą wyłącznie znane już wątki. Uzasadnienie małych prób w testach użyteczności od lat opisuje Nielsen Norman Group. Ważne zastrzeżenie: wyników jakościowych nie wolno podawać w procentach. „60% badanych miało problem z formularzem" przy pięciu osobach to zdanie, które wygląda na dane, a nim nie jest. Pisz „trzy z pięciu osób".

Dobór osób ważniejszy niż ich liczba

Największe zniekształcenie wyników rzadko bierze się ze zbyt małej próby. Bierze się z tego, kto trafił do badania.

Obciążenie samoselekcji. Odpowiadają osoby o silnej opinii, częściej skrajnie zadowolone i skrajnie niezadowolone. Widget na stronie zbiera głównie te dwie grupy. Jeżeli chcesz mierzyć stan całej populacji, wysyłaj zaproszenia do losowo wybranej grupy zamiast czekać, aż ktoś sam kliknie.

Obciążenie kanału. Ankieta wysłana wyłącznie mailem pomija tych, którzy maili nie czytają. Ankieta w aplikacji pomija tych, którzy przestali z niej korzystać, a to często najciekawsza grupa.

Obciążenie momentu. Badanie prowadzone tylko w dni robocze w godzinach pracy da inny skład próby niż prowadzone przez cały tydzień.

Obciążenie zachęty. Nagroda podnosi odsetek odpowiedzi, ale przyciąga też osoby zainteresowane wyłącznie nagrodą. Jeśli używasz zachęty, wybieraj losowanie wśród wszystkich uczestników zamiast gwarantowanego bonusu za wypełnienie.

Sposób na sprawdzenie, czy próba przypomina populację: porównaj jej skład z danymi, które już masz w systemie (staż, wielkość zamówień, region, urządzenie). Jeżeli udziały wyraźnie się różnią, wynik wymaga albo ważenia, albo wyraźnego zastrzeżenia w raporcie. Praktyczne podejście do sprawdzania i ważenia wyników rozpisaliśmy w artykule analiza wyników ankiety.

Jak zaplanować liczebność krok po kroku

1. Zapisz decyzję, którą podejmiesz na podstawie wyników. Bez tego nie wiadomo, jaka dokładność wystarczy.
2. Zdefiniuj populację jednym zdaniem, na przykład: klienci, którzy złożyli co najmniej jedno zamówienie w ostatnich 12 miesiącach.
3. Wypisz segmenty, które chcesz raportować osobno.
4. Ustal margines błędu dla najmniejszego z tych segmentów, zwykle 5 punktów procentowych.
5. Odczytaj potrzebną liczbę odpowiedzi z tabeli, uwzględniając wielkość populacji.
6. Podziel ją przez spodziewany odsetek odpowiedzi, żeby poznać liczbę zaproszeń.
7. Sprawdź, czy baza wystarcza. Jeśli nie, zmniejsz liczbę segmentów, przyjmij szerszy margines albo zbieraj dane w dłuższym okresie.
8. Zaplanuj przypomnienie dla osób, które nie odpowiedziały. Jedno przypomnienie po 3-4 dniach potrafi zwiększyć liczbę odpowiedzi o 30-50%.

W REEP widzisz liczbę odpowiedzi na żywo w panelu wyników, więc możesz przerwać zbieranie w chwili osiągnięcia założonego progu zamiast trzymać ankietę otwartą „na wszelki wypadek". Wysyłkę zaproszeń i przypomnień prowadzisz z tego samego miejsca, dzięki czemu odsetek odpowiedzi jest policzony automatycznie.

Najczęstsze błędy

Mylenie liczby wysłanych zaproszeń z liczbą odpowiedzi. Raport, który mówi „zbadaliśmy 5000 klientów", a w rzeczywistości opiera się na 210 wypełnieniach, wprowadza w błąd.

Raportowanie procentów przy kilkunastu odpowiedziach. Przy 14 osobach jedna zmiana zdania przesuwa wynik o 7 punktów procentowych.

Porównywanie okresów bez uwzględnienia liczebności. Zmiana wyniku o 4 punkty przy próbie 150 osób mieści się w zwykłym wahaniu.

Zbieranie „jak najwięcej" bez progu. Ankieta otwarta bezterminowo miesza okresy, promocje i sezony, przez co wynik przestaje opisywać jakikolwiek konkretny moment.

Pomijanie informacji o metodzie w raporcie. Każdy raport powinien zawierać: definicję populacji, liczbę zaproszeń, liczbę odpowiedzi, odsetek odpowiedzi, okres zbierania i margines błędu. To pięć linijek, które decydują o wiarygodności całej reszty dokumentu.

Podsumowanie

Wielkość próby nie jest kwestią przeczucia ani wielkości firmy. Wynika z tego, jak dokładnego wyniku potrzebujesz i ile grup chcesz porównywać. W typowym badaniu firmowym 380-400 odpowiedzi to sensowny cel, a przy analizie segmentów trzeba planować tę liczbę osobno dla najmniejszej z porównywanych grup. Największy zysk daje jednak nie zwiększanie liczby odpowiedzi, tylko zadbanie o to, kto do badania trafia, i uczciwe opisanie metody obok wyniku. Zasady budowy samego kwestionariusza zebraliśmy w tekście jak stworzyć dobrą ankietę, a reguły formułowania pytań w artykule jak pisać pytania ankietowe.